从json文件构造boost属性树的性能非常差

performance is very bad to construct boost property tree from json file?

本文关键字:性能 非常 属性 boost json 文件      更新时间:2023-10-16

我正在使用boost属性树来加载/转储json文件。然而,性能非常糟糕。

例如,我有一个json文件,其大小为1.8M。boost C++程序花费3秒加载json文件并构建属性树。如果我使用python加载json文件,它只需要0.1秒。python也会将所有内容构造为对象。

C++程序类似于:

int main(int argc, char **argv){
        std::fstream fin;
        fin.open(argv[1], std::fstream::in);
        if (!fin.is_open()){
            ASSERT(false);
        }
        boost::property_tree::ptree pt;
        try{
            read_json(fin, pt);
        }catch(ptree_error & e) {
            ASSERT(false);
        }
        fin.close();
    return 0;
}

做同样事情的python脚本是这样的:

#!/usr/bin//python
import sys
import json
fp = open(sys.argv[1],"r")
objs = json.load(fp)

我试过了最近的一次助推(1.54)。它仍然很慢。

感谢您的建议。

如果没有解决方案,你知道还有其他C++库可以加载/转储json吗?

我们在boost::property_tree和JSON方面遇到了严重的性能问题。我们的方法是停止使用std::string,并使用带有自定义分配器的内部字符串类和哈希表,以避免两次重新分配同一字符串。这将大型JSON文件的性能和内存使用率提高了至少几个数量级。

我们的JSON文件足够大,std::string分配占用了32位机器上所有可用的地址空间。这种方法让我们有了足够的空间。

我发现vs for Property Tree的Release Build和Debug Build性能数字之间存在巨大差异。在我的特定硬件上,使用read_JSON解析1MB JSON文件在Debug构建中需要8秒,但在发布版本中只需要0.7秒。

JSON文件中的实际内容并不重要。我尝试了使用不同conent的多个JSON文件。助推只是很慢。

现在我已经切换到了jansson,这是更好的-使用API既快捷又好。