Numpy/CAPI在编译多个模块时出现import_array()错误

Numpy/CAPI error with import_array() when compiling multiple modules

本文关键字：import array 错误 CAPI 编译 模块 Numpy      更新时间：2023-10-16

我正试图编译一个c++模块在scipy.weave中使用，该模块由几个头文件和源c++文件组成。这些文件包含广泛使用Numpy/C-API接口的类和方法。但是我没有弄清楚如何成功地包括import_array()。在过去的一周里，我一直在这个问题上挣扎，我快疯了。我希望你能帮助我，因为weave帮助不是很解释。

在实践中，我首先有一个名为pycapi_utils的模块，其中包含一些将C对象与Python对象连接起来的例程。它由头文件pycapi_utils.h和源文件pycapi_utils.cpp组成，例如:

//pycapi_utils.h
#if ! defined _PYCAPI_UTILS_H
#define _PYCAPI_UTILS_H 1
#include <stdlib.h>
#include <Python.h>
#include <numpy/arrayobject.h>
#include <tuple>
#include <list>
typedef std::tuple<const char*,PyObject*> pykeyval; //Tuple type (string,Pyobj*) as dictionary entry (key,val)
typedef std::list<pykeyval> kvlist;                    
//Declaration of methods
PyObject* array_double_to_pyobj(double* v_c, long int NUMEL); //Convert from array to Python list (double)
...
...
#endif

和

//pycapi_utils.cpp
#include "pycapi_utils.h"
PyObject* array_double_to_pyobj(double* v_c, long int NUMEL){
    //Convert a double array to a Numpy array
    PyObject* out_array = PyArray_SimpleNew(1, &NUMEL, NPY_DOUBLE);
    double* v_b = (double*) ((PyArrayObject*) out_array)->data;
    for (int i=0;i<NUMEL;i++) v_b[i] = v_c[i];
    free(v_c);
    return out_array;
}

然后我有一个进一步的模块model，其中包含处理一些数学模型的类和例程。同样，它由头文件和源文件组成，如:

//model.h
#if ! defined _MODEL_H
#define _MODEL_H 1
//model class
class my_model{
    int i,j;
    public:
        my_model();
        ~my_model();
        double* update(double*); 
}
//Simulator   
PyObject* simulate(double* input);
#endif

和

//model.cpp
#include "pycapi_utils.h"
#include "model.h"
//Define class and methods
model::model{
...
...
}
...
...
double* model::update(double* input){
    double* x = (double*)calloc(N,sizeof(double));
    ...
    ...
    // Do something
    ...
    ...
    return x;
}
PyObject* simulate(double* input){
    //Initialize Python interface 
    Py_Initialize;
    import_array();
    model random_network;
    double* output;
    output = random_network.update(input);
    return array_double_to_pyobj(output);  // from pycapi_utils.h     
}

以上代码包含在Python的scipy.weave模块中，带有

def model_py(input):
    support_code="""
                 #include "model.h"
                 """
    code = """
           return_val = simulate(input.data());
           """
    libs=['gsl','gslcblas','m']
    vars = ['input']
    out = weave.inline(code,
                       vars,
                       support_code=support_code,
                       sources = source_files,
                       libraries=libs
                       type_converters=converters.blitz,
                       compiler='gcc',
                       extra_compile_args=['-std=c++11'],
                       force=1)

编译失败:

error: int _import_array() was not declared in this scope

值得注意的是，如果我把pycapi_utils.h和源pycapi_utils.cpp合并在一起，一切都很好。但是我不想使用这个解决方案，因为在实践中，我的模块需要包含在其他几个模块中，这些模块也使用PyObjects并需要调用import_array()。

我正在寻找这篇关于堆栈交换的文章，但我无法弄清楚是否以及如何在我的情况下正确定义#define指令。此外，该帖子中的示例并不完全是我的情况，import_array()在main()的全局范围内被调用，而在我的情况下，import_array()在我的simulate例程中被scipy.weave构建的main()调用。

我有一个类似的问题，正如你发布的链接所指出的，所有邪恶的根源是PyArray_API是静态定义的，这意味着每个翻译单元都有自己的PyArray_API，默认情况下是用PyArray_API = NULL初始化的。因此，import_array()必须对每个*.cpp文件调用一次。在您的情况下，在pycapi_utils.cpp中调用它并在model.cpp中调用一次应该足够了。您还可以在实际调用array_import之前测试它是否必要:

if(PyArray_API == NULL)
{
    import_array(); 
}

显然，如果我在pycapi_utils模块中包含一个简单的初始化例程，如:

//pycapi_utils.h
...
...
void init_numpy();
//pycapi_utils.cpp
...
...
void init_numpy(){
    Py_Initialize;
    import_array();
}

，然后我在C代码中使用Numpy对象的任何函数/方法的开头调用这个例程，它可以工作。也就是说，上面的代码被编辑为:

//pycapi_utils.cpp
...
...
PyObject* array_double_to_pyobj(...){
    init_numpy();
    ...
    ...
}

//model.cpp
...
...
PyObject* simulate(...){
    init_numpy();
    ...
    ...
}

我在这一点上唯一关心的是是否有一种方法可以最大限度地减少对init_numpy()的调用次数，或者无论我必须从我在使用Numpy对象的CPP模块中定义的任何函数中调用它……

相关文章：