字节不符合记忆映射和对文件进行排序

Bytes are unaccounted for after memory-mapping and sorting a file

本文关键字：文件 排序 不符合 记忆 映射 字节      更新时间：2023-10-16

我有一个由69个字节消息组成的文件。没有EOL字符 - 仅消息后消息。文件中的字节总数正好为11,465,930,307，为（11,465,930,307/69）= 166,172,903消息。

我的程序内存将文件映射到字节数组中，查看每个69字节消息并提取时间戳。我跟踪我在哪个消息号上，然后在RowDetails对象中使用时间戳和消息编号，该对象以std::vector<RowDetails>为to_sort，以便我可以通过时间戳有效地对整个文件进行分类。

std::cout << "Sorting....." << to_sort.size() << " rows..." << std::endl;
std::sort(std::begin(to_sort), std::end(to_sort));

但是，我创建一个已排序的新文件：

unsigned long long total_bytes=0;
unsigned long long total_rows=0;
ofstream a_file("D:\sorted_all");
std::cout << "Outputting " << to_sort.size() << " rows..." << std::endl;
std::cout << "Outputting " << (to_sort.size()*69) << " bytes..." << std::endl;
for(RowDetails rd : to_sort){
    for(unsigned long long i = rd.msg_number*69; i<(rd.msg_number*69)+69; i++){
        a_file << current_bytes[i];
        total_bytes++;
    }
    total_rows++;
}
std::cout << "Vector rows: "<< total_rows <<std::endl;
std::cout << "Bytes: " << total_bytes <<std::endl;

我的输出：

No. of total bytes (before memory-mapping file): 11,465,930,307         CORRECT
Sorting....... 166,172,903 rows         CORRECT
Outputting 166,172,903 rows....         CORRECT
Outputting 11,465,930,307 bytes         CORRECT
Vector rows: 166,172,903                CORRECT
Bytes: 11,465,930,169                   ERROR, THIS SHOULD BE 307, not 169

我如何处理正确的行数，但是我的计数器，计数总字节是错误的？

查看Windows 7 Explorer中的输出文件时，它说的大小：11,503,248,366字节，即使原始输入文件（我记忆映射）说正确的11,465,930,307。

这只是基于您提供的代码段的猜测，但是我愿意敢打赌， rd.msg_number是32位类型。rd.msg_number*69似乎有时可能会溢出其32位结果，从而在内部循环边界中导致错误的计算。我会做以下类似的事情：

for(RowDetails rd : to_sort){
    long long msg_offset = (long long)rd.msg_number * 69;
    for(unsigned long long i = 0; i < 69; i++){
        a_file << current_bytes[msg_offset+i];
        total_bytes++;
    }
    total_rows++;
}

对于不正确的输出文件大小，原因是您的a_file输出文件是在默认 text 模式下打开的，而不是 binary 模式。在文本模式下，STDIO将进行不需要的EOL转换。因此，将文件打开的语句更改为：

ofstream a_file("d:\sorted_all", ios::out | ios::binary);
相关文章：