使用 Python、C++ 和 pybind11 返回并传递原始 POD 指针(数组)

Returning and passing around raw POD pointers (arrays) with Python, C++, and pybind11

本文关键字:POD 原始 指针 数组 Python C++ 返回 pybind11 使用      更新时间:2023-10-16

我有一个返回原始float指针的C++函数,以及另一个接受原始float指针作为参数的C++函数。像这样:

float* ptr = something;
float* get_ptr(void) { return ptr; }
void use_ptr(float* ptr) { do_work(ptr); }

我希望能够使用 Python 传递指针。像这样:

import my_native_functions as native
ptr = native.get_ptr()
native.use_ptr(ptr)

我正在使用 pybind11 来创建我的本机 python 模块,但我不知道如何为get_ptr()函数创建绑定。如果我只是执行以下操作:

PYBIND11_MODULE(my_native_functions, m)
{
m.def("get_ptr", &get_ptr);
m.def("use_ptr", &use_ptr);
}

get_ptr()函数返回一个 PythonFloat对象。我想这是有道理的,因为 python 中没有指针类型。但是,由于这现在是一个简单的Float,当我调用use_ptr()函数并在 C/C++ 中迭代指针时,只有数组的第一个元素是正确的。其余的都是垃圾。要解决此问题,在C++中,我必须将指针投射到/从std::size_t.通过这样做,一切都很好。

但是,我想问一下:是否有一种"正确的方法"来实现上述目标,而无需使用 pybind11 进行往返std::size_t

如果你好奇我为什么这样做: 我确实明白我正在做的事情不是类型安全的。另外,我从不触摸 Python 端的指针/整数。我只是从一个本机模块中检索它并将其传递给另一个。此外,我无法将指针投射到某种 numpy 视图,因为指针并不总是在 CPU 上。有时我想传递 CUDA 指针。除非我复制数据,否则无法从 CUDA 指针创建py::array_t(我不想这样做)。

谢谢。

将原始指针包装在自定义的"智能"指针类中(只是假装真的很聪明),如此处所述。您可以在使用此类时向其添加一些其他信息,例如数组元素的大小和元素的数量。这将使它成为C++端的通用数组描述符(但不是在 Python 端,因为您没有向 Python 公开原始指针)。

对于更简单的选择,只需将指针包装在任何旧类中即可对 Python 隐藏。无需将其作为自定义智能指针公开给 Python。下面是一个执行此操作的示例:

#include <pybind11/pybind11.h>
#include <memory>
#include <iostream>
namespace py = pybind11;
template <class T> class ptr_wrapper
{
public:
ptr_wrapper() : ptr(nullptr) {}
ptr_wrapper(T* ptr) : ptr(ptr) {}
ptr_wrapper(const ptr_wrapper& other) : ptr(other.ptr) {}
T& operator* () const { return *ptr; }
T* operator->() const { return  ptr; }
T* get() const { return ptr; }
void destroy() { delete ptr; }
T& operator[](std::size_t idx) const { return ptr[idx]; }
private:
T* ptr;
};
float array[3] = { 3.14, 2.18, -1 };
ptr_wrapper<float> get_ptr(void) { return array; }
void use_ptr(ptr_wrapper<float> ptr) {
for (int i = 0; i < 3; ++i)
std::cout << ptr[i] << " ";
std::cout << "n";
}
PYBIND11_MODULE(Ptr,m)
{
py::class_<ptr_wrapper<float>>(m,"pfloat");
m.def("get_ptr", &get_ptr);
m.def("use_ptr", &use_ptr);
}