使用MPI进行分割
Dividing work using MPI
我一直坚持使用MPI将多个文件划分为多个节点的方法。
接近1
比方说,我有5个文件和5个节点,所有文件都存在于一个节点上。现在,有没有什么方法可以引导节点在不发送或接收任何数据的情况下读取我想要的文件
对于实例,
File1->node1读取(此节点具有所有数据)
File2->由node2读取
File3->由node3读取
File4->node4读取
File5->由node5读取
(节点2、3、4、5从节点1读取数据)
接近2
我的另一种方法是读取node1上的所有文件,然后开始向node2、3、4和5发送数据。
请告诉我是否还有其他好的方法可以遵循
提前谢谢。
两者都是可能的,这取决于您需要什么。在不知道要做什么的信息的情况下,你需要问自己的问题是,所有文件都能放在一个节点上的内存中吗?如果是,使用方法2可能是有意义的,如果不能将内存中的所有数据都放在一个节点上,则使用方法1。
方法1看起来像
if(rank == 1){
//load file1
}
相关文章:
- 如何在C++中从字符串中分割字符
- C++映射分割错误(核心转储)
- 用MacOS Mojave编译C++:致命错误:mpi.h:没有这样的文件或目录
- C++为线程工作动态地分割例程
- MPI突然停止了对多个核心的操作
- 由cin中的字符串中未捕获空白引起的分割错误
- 设置 Visual Studio for MPI: 找不到标识符错误
- 删除映射和分割错误中的一个过去结束元素
- 在指向函数中读取变量时出现分割错误
- 使用 make 编译 MPI,几个命名空间错误,例如"错误:未知类型名称'使用'?
- 如何使用 MPI 的远程内存访问 (RMA) 功能并行化数据聚合?
- 重载 MPI 中的运算符 ()
- 在链表中的第 n 位插入显示分割错误
- MPI:检查是否有任何进程已终止
- 较高值 n 的分割错误(例如 n=999997)
- 使用 pybind11 共享 MPI 通信器
- 使用 CMake,Microsoft MPI 和 Visual Studio 2017 找不到 mpi.h
- 在具有 MPI 的超立方体中广播
- 通过 mpi 发送 c++ 标准::矢量<bool>
- 使用MPI进行分割