使用 pybind11 共享 MPI 通信器

Sharing an MPI communicator using pybind11

本文关键字：通信器 MPI 共享 pybind11 使用      更新时间：2023-10-16

>假设我已经围绕MPI通信器创建了一个包装器：

class Communicator {
public:
Communicator() : comm(MPI_COMM_WORLD) {}
Communicator(int const color, int const key) {
MPI_Comm_split(MPI_COMM_WORLD, color, key, &comm);
}
Communicator(MPI_Comm comm) : comm(comm) {}
MPI_Comm GetComm() const { return comm; }
private:
MPI_Comm comm;
};

我想使用 pybind11 围绕这个对象创建一个 python 包装器，如下所示：

void CommunicatorWrapper(pybind11::module &m) {
py::class_<Communicator, std::shared_ptr<Communicator> > commWrap(m, "Communicator");
commWrap.def(py::init( []() { return new Communicator(); } ));
commWrap.def(py::init( [](int const color, int const key) { return new Communicator(color, key); } ));
commWrap.def(py::init( [](MPI_Comm comm) { return new Communicator(comm); } ));
commWrap.def("GetComm", &Communicator::GetComm);
}

但是，我希望python看到的MPI_Comm类型是mpi4py.MPI.Comm。 这可能吗？如果是这样，如何？

上述(朴素(实现会导致以下行为：

comm = Communicator(MPI.COMM_WORLD)

错误：

TypeError: __init__(): incompatible constructor arguments. The following argument types are supported:
1. Communicator()
2. Communicator(arg0: int, arg1: int)
3. Communicator(arg0: int)

和

comm = Communicator()
print(comm.GetComm())

打印-2080374784. 考虑到MPI_Comm是什么，这种行为是有意义的，但显然不是我需要的功能。

我通过将包装器更改为

#include <mpi4py/mpi4py.h>
pybind11::handle CallGetComm(Communicator *comm) {
const int rc = import_mpi4py();
return pybind11::handle(PyMPIComm_New(comm->GetComm()));;
}
void CommunicatorWrapper(pybind11::module &m) {
py::class_<Communicator, std::shared_ptr<Communicator> > commWrap(m, "Communicator");
commWrap.def(py::init( []() { return new Communicator(); } ));
commWrap.def(py::init( [](int const color, int const key) { return new Communicator(color, key); } ));
commWrap.def(py::init( [](pybind11::handle const& comm) {
const int rc = import_mpi4py();
assert(rc==0);
return new Communicator(*PyMPIComm_Get(comm.ptr()));
} ));
commWrap.def("GetComm", &CallGetComm);
}
相关文章：