NodeJS本机C ++ npm模块内存错误,开罗图像处理

nodejs native c++ npm module memory error, cairo image processing

本文关键字:错误 图像处理 内存 模块 本机 npm NodeJS      更新时间:2023-10-16

我一直在 node-canvas 上纠缠 TJ,关于我正在他创作和维护的节点模块的一个分支中处理的代码加速。

我发现 Canvas.toBuffer() 正在杀死我们的管道资源,并创建了一个替代方案,可以简单地从 Canvas 转换为图像,而无需通过 png 缓冲区/媒体 url。问题是 cairo 是一种神秘的野兽,并且对节点模块中分配的内存还有一个额外的关注,以免被母 v8 获得 GC'd。我已经将正确的 HandleScopes 添加到访问 V8 数据的所有必需函数中。

我能够在我的Mac设置(6.18)上测试Canvas.loadImage(image)方法数千次,并在运行相同版本节点的ubuntu/生产服务器上进行独立测试。但是当代码作为后台进程/服务器运行并由 Gearman 协调时,我得到了一些"有趣"的内存/段错误。

此外,我在调用节点画布中定义的类的任何方法时遇到问题,这些方法不在头文件中内联。作为一个附带问题,创建其他节点模块可以依赖的通用本机源代码包的最佳方法是什么?

我尝试重现问题并使用 gdb、node_g 以及使用符号和调试标志构建的所有节点模块运行它。但是错误突然出现在我可以获取堆栈跟踪的源之外的库中。

作为参考,这是我调用 loadImageData 的地方,虽然它在各种条件下在本地运行,但在我们的生产环境中,当小心翼翼地隐藏在帧服务器中时,它似乎会导致段错误(昨天花了一天时间试图 gdb node_g我们的服务器代码,但帧服务器被 Gearman 启动......TL;DR 未获得根本原因堆栈跟踪)

https://github.com/victusfate/node-canvas/blob/master/src/Canvas.cc#L497

Handle<Value>
 Canvas::LoadImage(const Arguments &args) {
   HandleScope scope;
   LogStream mout(LOG_DEBUG,"node-canvas.paint.ccode.Canvas.LoadImage");    
   mout << "Canvas::LoadImage top " << LogStream::endl;
   Canvas *canvas = ObjectWrap::Unwrap<Canvas>(args.This());
   if (args.Length() < 1) {
     mout << "Canvas::LoadImage Error requires one argument of Image type " << LogStream::endl;
     return ThrowException(Exception::TypeError(String::New("Canvas::LoadImage requires one argument of Image type")));
   }
   Local<Object> obj = args[0]->ToObject();
   Image *img = ObjectWrap::Unwrap<Image>(obj);
   canvas->loadImageData(img);
   return Undefined();
}  
void Canvas::loadImageData(Image *img) {
  LogStream mout(LOG_DEBUG,"node-canvas.paint.ccode.Canvas.loadImageData");    
  if (this->isPDF()) {
    mout << "Canvas::loadImageData pdf canvas type " << LogStream::endl;
    cairo_surface_finish(this->surface());
    closure_t *closure = (closure_t *) this->closure();
    int w = cairo_image_surface_get_width(this->surface());
    int h = cairo_image_surface_get_height(this->surface());
    img->loadFromDataBuffer(closure->data,w,h);
    mout << "Canvas::loadImageData pdf type, finished loading image" << LogStream::endl;
  }
  else {
    mout << "Canvas::loadImageData data canvas type " << LogStream::endl;
    cairo_surface_flush(this->surface());
    int w = cairo_image_surface_get_width(this->surface());
    int h = cairo_image_surface_get_height(this->surface());
    img->loadFromDataBuffer(cairo_image_surface_get_data(this->surface()),w,h);
    mout << "Canvas::loadImageData image type, finished loading image" << LogStream::endl;
  }   
}

这是图像中的当前方法的样子(我删除了一些注释掉的日志记录信息)https://github.com/victusfate/node-canvas/blob/master/src/Image.cc#L240

/*
 * load from data buffer width*height*4 bytes
 */
cairo_status_t
Image::loadFromDataBuffer(uint8_t *buf, int width, int height) {
  this->clearData();
  int stride = cairo_format_stride_for_width (CAIRO_FORMAT_ARGB32, width); // 4*width + ?
  this->_surface = cairo_image_surface_create_for_data(buf,CAIRO_FORMAT_ARGB32,width,height,stride);
  this->data_mode = DATA_IMAGE;
  this->loaded();
  cairo_status_t status = cairo_surface_status(_surface);
  if (status) return status;
  return CAIRO_STATUS_SUCCESS;
}
任何帮助、

专业提示、帮助或鼓励的话将不胜感激。

最初来自谷歌群组

知道了!

我今天正在开发另一个使用 cairomm 的库,发现从数据缓冲区创建的表面需要这些缓冲区与表面一样存在。

http://www.cairographics.org/manual/cairo-Image-Surfaces.html#cairo-image-surface-create-for-data

"为提供的像素数据创建图像表面。输出缓冲区必须保留在附近,直到cairo_surface_t被破坏或在表面上调用 cairo_surface_finish()。数据的初始内容将用作初始图像内容;您必须显式清除缓冲区,例如,如果要清除缓冲区,请使用 cairo_rectangle() 和 cairo_fill()。

我引入了一个从临时缓冲区创建的图面。


节点画布分叉中的简单解决方案

有一个名为 _data 的成员变量,我可以为其分配一个本地错误定位的数据缓冲区,只要开罗表面存在,它就会存在。


解决方案

将缓冲区复制到图面的常规方法是从缓冲区创建一个临时图面,

然后从临时图面绘制到分配的图面上,并让 cairo 管理自己的内存。

它看起来像这样,c api 到开罗实现。

cairo_surface_t *pTmp = cairo_image_surface_create_for_data (
   data
 , CAIRO_FORMAT_ARGB32
 , width
 , height
 , cairo_format_stride_for_width(CAIRO_FORMAT_ARGB32, width));
_surface = cairo_image_surface_create ( CAIRO_FORMAT_ARGB32
 , width
 , height);
cairo_t *cr = cairo_create (_surface);
cairo_set_source_surface (cr, pTmp, x, y);
cairo_paint (cr);

此外,我在调用任何类方法时遇到问题 在节点画布中定义,这些内容不在头文件中内联。作为一个 附带问题 创建通用本机源代码的最佳方法是什么 其他节点模块可以依赖的包?

虽然我没有答案来解决我在暂存环境中遇到的内存问题/赛格故障。我确实有一个使用本机节点模块构建可重用库的答案。

我为所有独立的本机节点模块使用 git 子模块,并为每个 wscript 或 binding.gyp 文件添加了一个条件预处理器定义,以指定是否生成共享对象 .node 模块。

更新 或者,唯一的 init 函数名称或命名空间可以围绕模块初始化调用(移至此设置)。

此外,我将使用这个新包来帮助调试或重写代码部分(我不能花太多时间来调试几个远程库的利用率)。

在 wscript 或 binding.gyp 中

  flags = ['-D_NAME_NODE_MODULE', '-O3', '-Wall', '-D_FILE_OFFSET_BITS=64', '-D_LARGEFILE_SOURCE', '-msse2']

然后在初始化文件中

#ifdef _NAME_NODE_MODULE
extern "C" {
  static void init(Handle<Object> target) {
    HandleScope scope;
    NODE_SET_METHOD(target, "someFunction", someFunction);
  }
  NODE_MODULE(moduleName, init);
}
#endif

这样,节点本机模块仅在设置标志时添加到。否则,它可以正常链接到(就像在另一个节点模块中一样)。