SWIG carray/class 在 Python 中过早地被销毁

SWIG carrays/classes prematurely destroyed in Python

本文关键字:carray class Python SWIG      更新时间:2023-10-16

我正在尝试使用我认为在C/C++中相当常见的结构,大致如下:

// data.hpp
class Element {
public:  
int value;
~Element() { std::cout << "In node destructor" << std::endl; }
};
class Row {
public: 
Row(Element *elements) {/*initialize elements, assign ptrs*/}; 
std::vector<Element *> elements;
};
class Dataset {
public:  
Dataset(Row *rows) {/*initialize rows, assign ptrs*/};
std::vector<Row *> rows;
};

存储指针,因为这实际上在 CPU 和 GPU (CUDA( 上使用,我只想存储指针,以便每个设备都可以自己找出对象的实际位置。

我的SWIG映射非常基本:

/* File : data.i */
%{
#include "data.hpp"
%}
%include carrays.i
%include "data.hpp"
%array_class(Node, NodeArray)
%array_class(Row, RowArray)

现在我需要将 Python/Numpy 数组转换为行数组,以便将它们传递给Dataset构造函数。认为这样的事情可能会起作用:

def array_to_rows(X):
nr_rows = np.shape(X)[0]
c_row_arr = example.RowArray(nr_nodes)
for r in range(nr_rows):
nr_nodes = len(X[r])
c_node_arr = example.NodeArray(nr_nodes)
for n in range(nr_nodes):
node = example.Node()
node.value = int(X[r][n])
c_node_arr[n] = node // <-- after this line node's destructor is called
c_row_arr[r] = example.Row(node_arr) // <-- after this line row's destructor is called and destructor for each Node in c_node_arr
return c_row_arr

示例调用:

import example as example
X = [
[1],
[2,3],
[4,5,6]
]
rows = array_to_rows(X)

问题是,在 Python 中的每个循环结束时,都会调用NodeRow的析构函数。因此,即使我确实c_node_arr[n] = node这个作业也不会使 Python 保留node而是删除它......

我假设这是因为 SWIG 数组正在使用指针,如果我这样做c_node_arr[n] = node它只会将指针设置为node,然后在循环结束时由 Python 释放(并且将调用 C++ 析构函数(,并且c_node_arr将挂起一个指向已经释放的内存位置的指针。

有什么解决方法吗?我的方法是否非常糟糕,我应该重新考虑一下(如何?

@Edit:

目前,我看到的唯一解决方法是:

1(将所有RowArrayNodeArray的实例也保存在Python列表中,并在完成后释放它们

2( 将作业更改为RowArray,将NodeArray=更改为__setitem(idx, value)

我认为正在发生的事情是SWIG触发了C++对象的许多副本。我不认为它留下任何悬而未决的指针。

从 http://www.swig.org/Doc1.3/Library.html 来看,%array_class(type,name)是:

struct name {
...
void setitem(int index, type value);  // Set item
}

我认为这就是c_node_arr[n] = node发生的事情.

所以你实际上有:

  1. [Python]c_node_arr.__setitem__(n, node): 将node传递到 SWIG。
  2. [SWIG] 提取底层Node*
  3. [SWIG] 呼叫name::setitem(..., *node)
  4. [C++] 作为参数传递的一部分,构造一个新的Node对象作为参数的副本(好像Node new_node = node;(。尝试为 Element 编写一个复制构造函数,我想你会在这里看到一个调用。
  5. [C++] 将其存储在某个内部struct name数组中。我想这第二个副本以某种方式被省略了。
  6. 。后。。。[蟒蛇]决定删除原始node对象。这是您看到析构函数正在运行的地方。在内部,NodeArray指向(并拥有(原始节点的副本。

如果ElementRow可以复制(使用默认或自定义复制构造函数(,那么一切都很好。