Hadoop mapreduce使用2个mapper，1个reducer使用c++

Hadoop mapreduce using 2 mapper and 1 reducer using c++

本文关键字：使用 1个 reducer c++ mapper mapreduce 2个 Hadoop 更新时间：2023-10-16

按照这个链接上的说明，我使用单个映射器和单个reducer在c++中实现了一个wordcount程序。现在，对于同一个问题，我需要使用两个映射器和一个reducer。

在这方面有人能帮我吗？

映射器的数量取决于创建的输入拆分的数量。输入拆分的数量取决于输入的大小、块的大小、输入文件的数量（每个输入文件至少创建一个输入拆分）、输入文件是否可拆分等

您可以将减速器的数量设置为任意数量。我想在hadoop管道中，您可以通过在运行hadoop时设置-D mapred.reduce.tasks=...来实现这一点。请参阅SO.中的这篇文章

如果您想快速测试您的程序如何使用多个映射器，只需在输入路径中放入一个新文件即可。这将使hadoop创建另一个输入拆分，从而创建另一项映射任务。

PS：您提供的链接无法访问。