如何优化c++二进制文件读取

我有一个复杂的解释器从（有时）多个文件中读取命令（确切的细节超出了范围），但它需要多次迭代这些多个文件（有些可能是GB大小，无法实现良好的缓冲）。

我希望提高从文件中读取每个命令的速度。

我已经使用RDTSC（程序计数器）寄存器对代码进行了微基准测试，足以知道大约80%以上的时间是从文件中读取的。

事情是这样的：生成输入文件的程序实际上比在我的小型解释器中读取文件更快。也就是说，我可以（理论上）将数据生成器链接到解释器并跳过文件，而不是输出文件，但这不应该更快，对吧？

我做错了什么？还是说，写东西的速度（至少）比从文件中读取快2到3倍？

我已经考虑过mmap，但上的一些结果http://lemire.me/blog/archives/2012/06/26/which-is-fastest-read-fread-ifstream-or-mmap/似乎表明它并不比ifstream快。或者mmap在这种情况下会有帮助吗？

详细信息：

到目前为止，我已经尝试添加一个缓冲区，调整参数，删除ifstream缓冲区（在我的测试用例中，这使它慢了6倍），我目前在四处搜索后不知所措。

代码的重要部分如下。它执行以下操作：

1. 如果数据留在缓冲区中，则将表单缓冲区复制到memblock（然后在其中使用）
2. 如果缓冲区中没有留下数据，请检查文件中还有多少数据，如果超过缓冲区的大小，请复制缓冲区大小的块

3. 如果小于文件

   //if data in buffer
   if(leftInBuffer[activefile] > 0)
   {
       //cout <<bufferloc[activefile] <<"n";
       memcpy(memblock,(buffer[activefile])+bufferloc[activefile],16);
       bufferloc[activefile]+=16;
       leftInBuffer[activefile]-=16;
   }
   else //buffers blank
   {
       //read in block
       long blockleft =  (cfilemax -cfileplace) / 16 ;
       int read=0;
   /* slow block starts here */
       if(blockleft >= MAXBUFELEMENTS)
       {
           currentFile->read((char *)(&(buffer[activefile][0])),16*MAXBUFELEMENTS);
           leftInBuffer[activefile] = 16*MAXBUFELEMENTS;
           bufferloc[activefile]=0;
           read =16*MAXBUFELEMENTS;
       }
       else //read in part of the block
       {
           currentFile->read((char *)(&(buffer[activefile][0])),16*(blockleft));
           leftInBuffer[activefile] = 16*blockleft;
           bufferloc[activefile]=0;
           read =16*blockleft;
       }
    /* slow block ends here */
       memcpy(memblock,(buffer[activefile])+bufferloc[activefile],16);
       bufferloc[activefile]+=16;
       leftInBuffer[activefile]-=16;
   }
   

编辑：这是在mac上，osx 10.9.5，带有SSD 的i7

解决方案：

如下所述，mmap能够将速度提高约10倍。

（对于其他搜索此内容的人）特别开放：

uint8_t * openMMap(string name, long & size)
{
int m_fd;
struct stat statbuf;
uint8_t * m_ptr_begin;
if ((m_fd = open(name.c_str(), O_RDONLY)) < 0)
{
    perror("can't open file for reading");
}
if (fstat(m_fd, &statbuf) < 0)
{
    perror("fstat in openMMap failed");
}
if ((m_ptr_begin = (uint8_t *)mmap(0, statbuf.st_size, PROT_READ, MAP_SHARED,  m_fd, 0)) == MAP_FAILED)
{
    perror("mmap in openMMap failed");
}
uint8_t * m_ptr = m_ptr_begin;
size = statbuf.st_size;
return m_ptr;
}

读取者：

    uint8_t *  mmfile = openMMap("my_file", length);        
    uint32_t * memblockmm;
    memblockmm = (uint32_t *)mmfile; //cast file to uint32 array
    uint32_t data = memblockmm[0]; //take int
    mmfile +=4; //increment by 4 as I read a 32 bit entry and each entry in mmfile is 8 bits.