boost::iostreams 管理资源

boost::iostreams managing resources

本文关键字:资源 管理 iostreams boost      更新时间:2023-10-16

我是 boost 及其 iostreams 包的新手,发现文档有点薄。 希望有人能让我直截了当。 我正在尝试转换我不久前编写的一小段 C# 流代码,以便在压缩流中读取。

byte[] data = new byte[length - 1];
file.Read(data, 0, data.Length);
Stream ret = new ZlibStream(new MemoryStream(data), CompressionMode.Decompress, true);
return ret;

来自文件一部分的数据被读入内存缓冲区,该缓冲区为 zlib 解压缩器馈送。 随着时间的推移,流的使用者会选择它,当它完成时,将调用Close()与垃圾收集器相结合将清理所有资源。 注意:一个重要的区别是我不是要解压缩整个文件,只是解压缩文件的一小部分。 该文件已被搜索到某个内部位置,并且相对于文件的完整大小而言,长度很小。

我正在尝试在带有 Boost C++代码中提出与此最好的等效物。 到目前为止,我有与上述道德等价物(未经测试(:

char * data = new char[length - 1];
_file.read(data, length - 1);
io::stream_buffer<io::basic_array_source<char> > buffer(data, length - 1);
io::filtering_stream<io::input> * in = new io::filtering_stream<io::input>;         
in->push(io::zlib_decompressor());
in->push(buffer);
return in;

我假设我可以返回包装在shared_ptr中的filtering_stream,这将使消费者不必担心删除流,但我也有新的数据缓冲区。 理想情况下,我希望消费者只在流上调用close(),并且某些机制(例如回调(将清理过滤器中的底层资源。 要求使用者将流传递给显式发布函数也是可以接受的,但我仍然不完全确定如何首先恢复底层数据缓冲区。

更清洁的替代解决方案也受到欢迎。

更新 1

我试图松散地抓住Cat Plus Plus关于std::vector支持的驱动程序的评论。 这不是我所做的,但这是我到目前为止想出的。 在下面的代码中,我有一个基于提升驱动程序示例的 boost::shared_array 支持的驱动程序。

namespace io = boost::iostreams;
class shared_array_source
{
public:
    typedef char            char_type;
    typedef io::source_tag  category;
    shared_array_source (boost::shared_array<char> s, std::streamsize n)
        : _data(s), _pos(0), _len(n)
    { }
    std::streamsize read (char * s, std::streamsize n)
    {
        std::streamsize amt = _len - _pos;
        std::streamsize result = (std::min)(amt, n);
        if (result != 0) {
            std::copy(_data.get() + _pos, _data.get() + _pos + result, s);
            return result;
        }
        else {
            return -1;
        }
    }
private:
    boost::shared_array<char> _data;
    std::streamsize _pos;
    std::streamsize _len;
};

然后我有返回流的函数

io::filtering_istream * GetInputStream (...)
{
    // ... manipulations on _file, etc.
    boost::shared_array<char> data(new char[length - 1]);
    _file.read(data.get(), length - 1);
    shared_array_source src(data, length - 1);
    io::stream<shared_array_source> buffer(src);
    io::filtering_istream * in = new io::filtering_istream;
    in->push(io::zlib_decompressor());
    in->push(buffer);
    // Exhibit A
    // uint32_t ui;
    // rstr->read((char *)&ui, 4);
    return in;
}

在我的测试程序的主要功能中:

int main () {
    boost::iostreams::filtering_istream * istr = GetInputStream();
    // Exhibit B
    uint32_t ui;
    rstr->read((char *)&ui, 4);
    return 0;
}

忽略我返回的指针永远不会被释放的事实 - 我尽可能保持简单。 运行此命令时会发生什么? 如果我取消注释附件 A 中的代码,我会在 ui 中获得正确的读数。 但是当我点击图表B时,我在Boost中崩溃得很深,很深(有时(。 好吧,废话,我超出了范围,事情坏了,一些当地人一定在解构和搞砸一切。 data在shared_array中,in在堆上,压缩器是根据文档构建的。

其中一个 boost 构造函数或函数是否抓取了对堆栈上对象的引用(即 io::stream 或 filtering_stream 的推送(? 如果是这样的话,我有点回到原点,堆上没有管理的对象。

你真的应该避免在堆上分配任何东西。 filtering_stream可以即时解压缩,因此您无需先更换缓冲区或读取文件内容。代码应该更像这样:

io::filtering_stream stream;
stream.push(io::zlib_decompressor());
stream.push(_file);

如果你真的需要在堆上分配它,那么是的,你应该把它包装在一个智能指针中(但同样,不要先读取文件数据——你有泄漏缓冲区的风险,更不用说以这种方式读取大文件可能非常低效(。

最终,

我不得不放弃尝试让 Boost iostream 自行清理。 在创建内部使用 boost::shared_array 的自定义数组设备解决了我的数据缓冲区留在堆上的问题时,事实证明 boost::iostreams::filtering_stream/streambuf 引用推送到链中的对象,这意味着它正在堆栈上捕获对我的设备的引用(尽可能多地从源代码和行为中推断, 反正(。 我可以在堆上更新设备,但这只会让我回到原点。

我下面的解决方案将流的创建移动到一个薄的 std::istream 包装器中,然后可以在 boost::shared_ptr 中返回,从而允许在最后一个引用被销毁时清理所有资源。

template <class Compressor>
class CompressedIStream : public std::basic_istream<char, std::char_traits<char> >
{
public:
    CompressedIStream (std::istream& source, std::streamsize count)
        : _data(new char[count]), _buffer(_data, count), std::basic_istream<char, std::char_traits<char> >(&_filter)
    {
        source.read(_data, count);
        _filter.push(Compressor());
        _filter.push(_buffer);
    }
    virtual ~CompressedIStream ()
    {
        delete[] _data;
    }
private:
    char * _data;
    io::stream_buffer<io::basic_array_source<char> > _buffer;
    io::filtering_istreambuf _filter;
};
boost::shared_ptr<std::istream> GetInputStream (...)
{
    // ... manipulations on _file, etc.
    typedef CompressedIStream<io::zlib_decompressor> StreamType;
    return boost::shared_ptr<StreamType>(new StreamType(_file, length - 1));
}