京都机柜TreedB:内存使用情况无法控制，直到关闭数据库为止

Kyoto cabinet TreeDB: memory usage grows uncontrollably until database is closed

本文关键字：控制 数据库 TreedB 机柜 内存 情况 用情      更新时间：2023-10-16

我一直在尝试使用kyotocabinet treedb（msvc10 build），并偶然发现了一个奇怪的内存问题：基本上，在每个数据库写入，内存使用情况下，内存使用量会增长，直到数据库才下降已关闭。

测试代码看起来像这样：

size_t BLOCK_SIZE = 1 << 20; // use 1MB-sized records
char* test_block = new char[BLOCK_SIZE]; // allocate record data
TreeDB db;
db.open("test.db")
// add 5000 records
for (int i = 0; i < 5000; ++i)
{
    // at each call, process virtual memory usage increases by 1 MB even though i'm not allocating more memory
    // also, as expected, in x86-32 process the whole thing runs out of memory and crashes when iteration counter comes close to 2000
    db.set(&i, sizeof(i), test_block, BLOCK_SIZE);
}
db.close(); // memory usage returns to normal here
delete [] test_block;

当然，在添加每个记录时，我可以打开/关闭数据库，但是这引入了巨大的延迟（约1秒），这对于我的任务是不可接受的。另外，这个问题不会在hashdb中发生，但是我无法真正使用hashdb，因为我偶尔需要按键进行顺序访问。

我尝试更改调谐参数（tune_page_cache，tune_buckets，tune_page），但没有运气。可以请有人暗示我在这里缺少的东西吗？我需要存储不可预测的100kb-10mb大小的记录，然后在32位系统上运行。

也许db.synchronize()可能会有所帮助，因为它应该将缓存的数据推出到文件系统中，从而允许用户内存释放。如果是这样，您需要一直在发生这种情况，请使用可选的参数oautosync致电open，尽管这可能会使您慢下来。

相关文章：