C++:内存映射文件上的Fetch_add

C++: Fetch_add on memory mapped file

本文关键字：Fetch add 文件 内存 映射 C++      更新时间：2023-10-16

我使用boost映射文件库打开一个文件。有可能在这个映射文件上使用"fetch_add"（在某个位置读取值，然后将另一个值添加到另一个位置，然后原子地写回同一位置）吗？

如果多个线程并行写入，在没有涉及的原子性的情况下可能会出现问题

该文件为二进制格式，包含int或double（取决于特定文件）。

我也尝试过锁/互斥，但当使用多个线程时，它们总是会减慢程序的速度。与算法的其余部分相比，在锁定区域花费的时间太大了，线程相互阻塞。

有没有更好的方法可以让多个线程以高性能写入映射文件？

谢谢。Laz

是否有多个进程映射此文件，或者只是多个线程？

如果多个进程同时访问这个内存映射文件，则必须进行自己的（进程间）同步。

如果只有多个线程，那么可以像对任何其他内存字进行原子更新一样对内存进行原子更新，但需要注意的是，不能使用std::atomic（因为很明显，字节直接对应于文件中的一个部分，而不是std::atomic结构）。因此，您必须使用特定平台对原子修改内存的支持，即x86上的lock xadd，例如Win32上的InterlockedIncrement（或带有g++的__sync_fetch_and_add）。请注意确保内存排序语义（和返回值！）如您所期望的那样。

不过，以独立于平台的方式封装特定于平台的函数（如果需要的话）可能会有点麻烦，因此在这种情况下，我建议将同时访问的数据保存在单独的std::atomic变量中，然后在最后只更新相应的文件字节一次。

请注意，所有这些都与内存映射正交——操作系统用它根据需要交换的页面来支持内存映射文件，并且管理这些页面的内存管理单元与处理任意其他（未映射）页面的内存管单元相同，因此，页面本身可以由多个线程进行修改，而不必担心除了通常的（应用程序级别）数据竞争之外的任何事情。

由于内存映射文件的行为类似于普通内存[1]，因此它在任何其他内存上都能很好地工作。

这编译（在使用clang++3.6 -Wall -Wextra时），但在技术上是未定义的（因为std::atomic<T>不能保证与T是相同的类型或具有相同的对齐规则）：

   std::atomic<uint64_t> *p; 
   p = reinterpret_cast<std::atomic<uint64_t>*>(&dest[index]);
   p->fetch_add(value);

这在g++和clang++中应该很好：

   dest[index] = __sync_fetch_and_add(&dest[index], value);

（两者都生成几乎相同的汇编代码，后者使用xaddq[返回原始值]，其中前者使用addq-我预计__sync_add_and_fetch将执行相同的addq）

[1] 因为它是普通内存——Linux中的映射机制与处理普通内存的机制完全相同，例如当内存不足时，或者在刚启动的应用程序中使用代码/数据时，交换数据。虽然我无法访问Windows源代码，但我相信这也是真的。其他操作系统可能会以一种微妙的不同方式实现它，但没有理由相信它会阻止原子操作的工作。

相关文章：