用c++读取大数据
reading big data in C++
我使用c++来读取超过30000行和3000列的大文件。(30000 × 3000)矩阵。我使用2d矢量来推送读取数据。但是我需要做几次这个过程。有什么方法可以优化阅读过程吗?
我会给你一些想法,但不是确切的解决方案。因为我不了解你们系统的全部细节。
- 实际上,如果你有这么大的文件的数据,只有一些数据的变化,在下次读取。尝试使用一些数据库方法。
- 为了提高性能,可以使用并发文件读取(使用多个线程逐部分读取同一个文件)。
- 如果您需要处理数据,那么使用单独的线程来处理,并且可能通过队列或并行队列进行链接。
- 如果您的数据长度是固定的(如固定长度数字)。如果你知道更改的位置,尝试只读取更改的数据,而不是一次又一次地读取和处理整个文件。
- ,如果以上没有帮助使用内存映射方法。如果你在寻找可移植性,Boost内存映射文件将支持你减少你的作品
内存映射机制是Ok的,因为只有读操作。
相关文章:
- C++将文本文件中的数据读取到结构数组中
- 为 Sql 服务器实现 odbc 包装器.将数据库数据读取为字符或要求驱动程序将数据转换为 C 类型
- 如何将来自文本文件的数据读取到结构的int阵列中
- 如何将不同长度的数据读取到 2D 数组中
- 从TXT文件到C 的结构向量中的数据读取
- 将sqlite原始数据读取到qbyTearray
- 如何将来自输入TXT文件的数据读取到2 C 数组中
- 使用MQQueue将数据读取到缓冲区中时麻烦
- 在 VC++ 中将类数据读取和写入二进制文件
- 将数据从数据读取器终端获取到GUI(QtCreator)
- C 将数据读取到一个结构,但它跳过了我的一个获取线,使该元素空白
- C++将二进制数据读取到结构
- c++我需要将文件中的数据读取到多维数组中,然后用一种数据类型对数组进行排序.怎样
- 对齐数据:速度取决于恒定数据读取的相对采样大小和采样频率
- 如何将文件中的数据读取到数组中
- 如何使用Visual C++应用程序的完整应用程序数据读取Minidump的应用程序数据
- 如何将csv文件数据读取到数组中
- 用C++将格式化的数值数据读取到数组中
- 正在从文件中将数据读取到结构数组中
- 将分离的数据读取到数组结构c++中