访问此数据的最佳方式是什么

What is the best way to access this data?

本文关键字:方式 是什么 最佳 数据 访问      更新时间:2023-10-16

对于我正在处理的程序,我正在从mysql获取数据并写入csv文件。 然后,我将从csv中获取数据,并将其放入C++的2d向量中。

我的 csv 文件很可能在 1 到 150 万行和 8 列之间的任何范围内。 现在,可以将 csv 视为按 ID 号排序的一堆块。 也就是说,例如,前 100 行可能属于 ID 号 1,接下来的 80 行属于 ID 号 2,依此类推。 我将它们全部放在一个 csv 中的原因是,从 mysql 请求数据很慢,我只想发出一个请求。

我的问题是,在我的C++程序中,一次创建一个包含整个 csv 文件的大型向量 (150 万 x 8),还是创建一个循环,我创建一个 100 x 8 向量,然后创建一个 80 x 8 向量,依此类推? 如果我没有很好地提出这个问题,我很抱歉。如果您有任何其他问题需要帮助澄清,我很乐意回答。

理论上分配大块会更好(new 在大块上有更好的性能)。如果您使用的是 std::vector<T> ,不要忘记从一开始就保留足够的内存,以防止在用数据填充它时重新分配。

首先决定你更喜欢稍后查找取决于 ID,你可以使用 std::unordered_multimap 其中键作为你的记录 ID,其他元素是你的类的成员变量。二维数组在这里std::unordered_multimap无效,并且无法使用 ID 作为查找键,因为您将无法将 vector 的索引转换为您的 ID,因为存在重复的 ID。

如果您更喜欢查找,请创建一个结构或类以将记录的所有其他元素保留为类的数据成员,并使用 ID 作为std::unordered_multimap的键。这是您可以使用 C++11 的情况。

如果您没有 C++11,并且您更喜欢多键查找,则更喜欢使用 std::multimap