查询从内存映射文件检索到的Rtree时出现分段错误

Segmentation fault when querying Rtree retrieved from memory mapped file

本文关键字:Rtree 错误 分段 内存 映射 文件 检索 查询      更新时间:2023-10-16

我很困惑。考虑以下代码,该代码稍微改编自http://www.boost.org/doc/libs/1_57_0/libs/geometry/doc/html/geometry/spatial_indexes/rtree_examples/index_stored_in_mapped_file_using_boost_interprocess.html:

#include <boost/filesystem.hpp>
#include <boost/geometry.hpp>
#include <boost/geometry/geometries/point.hpp>
#include <boost/geometry/geometries/box.hpp>
#include <boost/geometry/index/rtree.hpp>
#include <boost/interprocess/managed_mapped_file.hpp>
namespace bg = boost::geometry;
namespace bgi = boost::geometry::index;
namespace bi = boost::interprocess;
typedef bg::model::point<float, 2, bg::cs::cartesian> point; 
typedef std::pair<point, int> value_t; // **
typedef bgi::linear<32, 8> params_t;
typedef bgi::indexable<value_t> indexable_t;
typedef bgi::equal_to<value_t> equal_to_t;
typedef bi::allocator<value_t, bi::managed_mapped_file::segment_manager> allocator_t;
typedef bgi::rtree<value_t, params_t, indexable_t, equal_to_t, allocator_t> rtree_t;
using namespace boost::filesystem;
int main(int argc, char * argv[])
{   
    std::string indexFile = "/home/jerome/proteome/index_tree.dat";
    remove(indexFile); 
    int mmfSize = 1200000;
    {
        bi::managed_mapped_file file(bi::open_or_create,indexFile.c_str(), mmfSize);
        allocator_t alloc(file.get_segment_manager());
        rtree_t * rtree_ptr = file.find_or_construct<rtree_t>("rtree")(params_t(), indexable_t(), equal_to_t(), alloc);
        std::cout << "Indexing ... " << std::endl;
        for(int i = 0; i < 1001; i++)
        {
            rtree_ptr->insert(std::make_pair(point(i,i),i*i));  
        }
        std::cout << "Indexing done." << std::endl;
    }
    {
        bi::managed_mapped_file file(bi::open_or_create,indexFile.c_str(), mmfSize);
        allocator_t alloc(file.get_segment_manager());
        rtree_t * rtree_ptr = file.find_or_construct<rtree_t>("rtree")(params_t(), indexable_t(), equal_to_t(), alloc);
        std::cout << "Tree loaded, contains " << rtree_ptr->size() << " elements" << std::endl;
        // query point
        point pt(2, 1);
        std::vector<value_t> results;
        rtree_ptr->query(bgi::nearest(pt, 3), std::back_inserter(results));
        std::cout << "Query performed" << std::endl;    
        for (int i = 0; i < results.size(); i++)
        {
            value_t v = results[i];
            std::cout << "Found the point " << v.second << " at a distance of " << bg::distance(v.first,pt) << std::endl; 
        }
    }
}

它非常有效。它创建一个Rtree并将其存储在内存映射文件中,然后检索并查询它,这没问题。然而,一旦我尝试将这个文件一分为二(树在一个文件中构建,并在另一个文件进行查询),查询就不再起作用了!(下面代码中的"…"指的是最初示例中的所有include和typedef,它们已完全复制到两个文件中,但为了清晰起见,此处已删除)。

构建文件:

...
int main(int argc, char * argv[])
{   
    std::string indexFile = "/home/jerome/proteome/index_tree.dat";
    remove(indexFile); 
    int mmfSize = 1200000;
    {
        bi::managed_mapped_file file(bi::open_or_create,indexFile.c_str(), mmfSize);
        allocator_t alloc(file.get_segment_manager());
        rtree_t * rtree_ptr = file.find_or_construct<rtree_t>("rtree")(params_t(), indexable_t(), equal_to_t(), alloc);
        std::cout << "Indexing ... " << std::endl;
        for(int i = 0; i < 1001; i++)
        {
            rtree_ptr->insert(std::make_pair(point(i,i),i*i));  
        }
        std::cout << "Indexing done." << std::endl;
    }
}

查询文件:

...
int main(int argc, char * argv[])
{   
    std::string indexFile = "/home/jerome/proteome/index_tree.dat";
    int mmfSize = 1200000;
    {
        bi::managed_mapped_file file(bi::open_or_create,indexFile.c_str(), mmfSize);
        allocator_t alloc(file.get_segment_manager());
        rtree_t * rtree_ptr = file.find_or_construct<rtree_t>("rtree")(params_t(), indexable_t(), equal_to_t(), alloc);
        std::cout << "Tree loaded, contains " << rtree_ptr->size() << " elements" << std::endl;
        // query point
        point pt(2, 1);
        std::vector<value_t> results;
        rtree_ptr->query(bgi::nearest(pt, 3), std::back_inserter(results));
        std::cout << "Query performed" << std::endl;    
        for (int i = 0; i < results.size(); i++)
        {
            value_t v = results[i];
            std::cout << "Found the point " << v.second << " at a distance of " << bg::distance(v.first,pt) << std::endl; 
        }
    }
}

(remove()用于防止覆盖现有文件并每次重新启动。)

建筑代码运行良好,但查询代码失败:

Tree loaded, contains 1001 elements Segmentation fault (core dumped)

有什么想法吗?我预计,不知何故,当检索树时,会丢失一些东西,因此检索到的树格式错误,并在查询时导致内存问题。但是,当它在两个不同的文件中时,为什么会发生这种情况,而不是当它在同一个文件中,而是在两个不同时域中时?它不应该有完全相同的行为吗?

编辑:我使用的是boost 1.54。

在内部,R树可以使用各种类型的节点,尽管定义和选择它们的接口没有文档记录,而且可能永远不会记录。在Boost 1.56中,由于您面临的问题,默认的节点类型被更改为基于变体的。

因此,要在Interprocess中使用rtree而没有问题,您可以:

  • 使用更新版本的Boost,1.56或更高版本(你还没有写下你正在使用的版本)
  • 通过应用以下简单修复程序修复Boost的本地副本:https://github.com/boostorg/geometry/commit/3474244d0a91d63752cd8a7b683fd013da030750

另请参阅本讨论:http://boost-geometry.203548.n3.nabble.com/rtree-crash-when-used-with-inter-process-td4026037.html

在上面讨论的最后,还提到了一个解决方案,但它更复杂,并且取决于库的内部。它可能会在某个时候停止编译(事实上,它应该只适用于Boost 1.56及以下版本)。但如果你使用它,你的程序将只需要官方的Boost来编译,而不需要任何修改。

这个是个傻瓜。

在调试器中的代码之后,R树的节点中实际存储了什么?

事实证明,R树实现存储了一个类型为boost::geometry::index::detail::rtree::dynamic_leaf<...>的对象。这源于CCD_ 3。此对象在映射文件的堆上正确分配,将节点数据与对象的vtable指针一起存储。vtable为可执行文件实例化一次,但它对读取器的位置与对编写器的位置不同。当在读取器中调用dynamic_node上的虚拟方法时,将从写入器存储的vtable地址中查找要跳转到的地址,从读取器的角度来看,该地址位于超空间中的某个位置。

这就是崩溃的根源!

没有简单的方法可以解决这个问题:boost::interprocess明确不支持共享动态对象。