MPI大数据处理

MPI large data processing

本文关键字：数据处理 MPI 更新时间：2023-10-16

我的MPI应用程序将读取一系列图像来构建三维数据。它是非常大的数据（大约4 GB）。我不想把数据分发给每个员工。我不知道该怎么办。共享内存可能是一种解决方案。但是如何使用MPI来使用共享内存。我找了很多关于这个的东西，没有找到什么好的。有人能给我一些使用MPI处理大数据的建议或例子吗？（顺便说一句，我使用的是Open MPI实现）。非常感谢你的大力帮助。

您要查找的是添加到MPI-2中的单边通信。它在OpenMPI中可用。关于介绍，您可以查看http://www.linux-mag.com/id/1793/。

其原理是创建一个窗口（共享内存的一个区域），然后可以从该窗口获取或放置数据。MPI应该对其进行优化，以便在可用时使用RMA。还有像栅栏这样的机制可以确保进程之间的同步。