如何从hadoop python包装器运行c++可执行文件

How to run a C++ executable from hadoop python wrapper

本文关键字：运行 c++ 可执行文件包装 python hadoop 更新时间：2023-10-16

我是使用python的hadoop流库新手。这个问题可能看起来很蠢，但我被困在这里了。如有任何帮助，不胜感激。

我正试图运行一个c++可执行文件(它以本地文件名作为命令行参数，并在本地文件系统中写入文件)从python代码作为hadoop中的映射器。c++代码在本地文件系统中运行良好。另外，当我从python调用它时，它在本地文件系统中工作良好。但是，每当我试图将python调用为hadoop, mapper时，它都不起作用。

那是什么原因?什么好主意吗?

假设您可以验证您的Python代码能够在本地执行二进制文件，那么您应该确保将c++二进制文件也部署到工作机器上，使其可用于映射器。您可以使用-file命令行参数。