c++ unordered_map的并行性

Parallelism with C++ unordered_map

本文关键字：并行性 map unordered c++      更新时间：2023-10-16

我有一个类型为std::unordered_map<std::string, int64_t> sMap的unordered_map。它包含许多字符串和与每个字符串相关联的"权重"。我想找到N个权值最大的字符串

如果我想用一个线程来做这件事，我想我可以像这样创建一个优先级队列

std::priority_queue<
    std::pair<std::string, int64_t>,
    std::vector<std::pair<std::string, int64_t>>,
    std::function<bool(std::pair<std::string, int64_t>&,
            std::pair<std::string, int64_t>&)>> prQ(comparePair);

然后遍历整个unordered_map，将元素插入到prQ中同时保持长度n

我想实现相同的使用多线程。我正在考虑分配每个线程在unordered_map的几个元素上工作，以创建长度为N的本地优先级队列，该队列可以在最后合并为全局优先级队列。

我现在面临的问题是，我从unordered_map::begin()得到的迭代器不能与+操作符一起工作。至少这是我得到的错误:error: no match for ‘operator+’ (operand types are ‘std::unordered_map<std::basic_string<char>, long int>::iterator {aka std::__detail::_Node_iterator<std::pair<const std::b asic_string<char>, long int>, false, true>}’ and ‘int’)因此，我不能真正指定一个特定线程要处理的元素范围。[]操作符将按预期接受键，而不是偏移量。

本质上，我似乎找不到一种方法来拥有一个数据并行循环，每个线程只使用几个元素。如何使用多线程来解决这个问题呢?

编辑:@Brian Vandberg让我提供一个简化的代码示例，生成我正在谈论的错误。

std::unordered_map<std::string, int64_t> sMap;
//Initialize sMap values
int start = 0, end = 2;
for(auto i = sMap.begin() + start; sMap.begin() + end; ++i) {
    std::cout<<i->first<<"t"<<i->second<<"n";
}

首先，我不确定我是否会为这个问题使用优先级队列(无论是单线程的，还是由特定线程执行的部分)。标准库有nth_element，您可以使用它在线性时间内查找n元素。接下来，找出哪个元素更大也是线性时间。

如果速度是问题，您可以考虑这样做，如果大小是问题(nth_element将有效地强制您创建数据的副本)，您可以考虑这样做。在这个解决方案中，您将遍历映射(或映射的一部分)，而push_back仅将权重添加到vector中，然后执行nth_element。在第二阶段，在地图上再次循环，并选择那些权重较高的。

假设你有一个循环:

std::size_t j = 0;
for(const auto &e: sMap)
{
    if(++j % k != i)
        continue;
    // Rest of code goes here.
}

然后，如果您将它用于i线程中的k，它将在线程之间划分元素。此外，虽然所有线程都在迭代相同的元素(如果只是跳过其中的大多数)，但它是并行发生的。

每个线程可以生成最大的m元素的候选元素，然后使用上述方法(与nth_element一起)或任何其他方法从km候选元素中选择最大的m元素。

有趣的是，在实践中，sMap的大小会产生任何加速

相关文章：