用c++读取大数据

reading big data in C++

本文关键字:数据 读取 c++      更新时间:2023-10-16

我使用c++来读取超过30000行和3000列的大文件。(30000 × 3000)矩阵。我使用2d矢量来推送读取数据。但是我需要做几次这个过程。有什么方法可以优化阅读过程吗?

我会给你一些想法,但不是确切的解决方案。因为我不了解你们系统的全部细节。

  1. 实际上,如果你有这么大的文件的数据,只有一些数据的变化,在下次读取。尝试使用一些数据库方法。
  2. 为了提高性能,可以使用并发文件读取(使用多个线程逐部分读取同一个文件)。
  3. 如果您需要处理数据,那么使用单独的线程来处理,并且可能通过队列或并行队列进行链接。
  4. 如果您的数据长度是固定的(如固定长度数字)。如果你知道更改的位置,尝试只读取更改的数据,而不是一次又一次地读取和处理整个文件。
  5. ,如果以上没有帮助使用内存映射方法。如果你在寻找可移植性,Boost内存映射文件将支持你减少你的作品

内存映射机制是Ok的,因为只有读操作。