openmp++程序能否在Hadoop中用作mapper/reducer函数?

Can a OpenMP C++ program be used as mapper/reducer function in Hadoop?

本文关键字：mapper reducer 函数程序 Hadoop openmp++ 更新时间：2023-10-16

我们可以这样组合OpenMP和MapReduce吗?

Map/Reduce可用于将数据集分布到不同的计算机上。
然后每台计算机运行mapper/reducer功能，利用多处理的优势使用OpenMP。

这可能吗?(我在谷歌上找不到任何实质性的东西)。
如果可能的话，这有什么好处吗?

注:我正在使用Hadoop Streaming Utility.

Hadoop的关键是让处理节点自动地、透明地为你处理数据的位置。

如果我正确理解你的话，你想使用Hadoop只是为了存储，然后在OpenMP中做你的Map/Reduce工作。虽然这应该是可能的，但你最终会失去Hadoop的一个主要设计优势。

这种方法没有多大意义。我建议要么坚持使用Hadoop框架，要么如果你不喜欢它，看看其他替代方案。