Pydoop:没有名为 _hdfs_* 的模块

Pydoop: No module named _hdfs_*

本文关键字:hdfs 模块 Pydoop      更新时间:2023-10-16

我能够毫无错误地构建和安装 Pydoop,因此,例如,我可以执行以下操作:

>>> import pydoop
>>> pydoop.__version__
'0.10.0'

但是,当我尝试导入主要的 Pydoop 模块(例如 pipeshdfs)时,我得到ImportError

>>> import pydoop.hdfs
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "pydoop/hdfs/__init__.py", line 79, in <module>
    from fs import hdfs, default_is_local
  File "pydoop/hdfs/fs.py", line 28, in <module>
    hdfs_ext = pydoop.import_version_specific_module("_hdfs")
  File "pydoop/__init__.py", line 111, in import_version_specific_module
    return import_module(complete_mod_name(name))
  File "/usr/lib/python2.7/importlib/__init__.py", line 37, in import_module
    __import__(name)
ImportError: No module named _hdfs_2_0_0_cdh_4_3_0

此外,当我尝试使用pydoop script时,我得到了这样的提示

...
ImportError: /usr/local/lib/python2.7/dist-packages/pydoop/_pipes_2_0_0_cdh_4_3_0.so: undefined symbol: BIO_s_mem

BIO_s_mem是来自libssl (OpenSSL)的符号,所以我猜Pydoop找不到这个共享库。我确保它可用,以 .so 结尾(而不是.so.1)并且LD_LIBRARY_PATH.

那么这个错误的原因可能是什么?我该如何修复它(构建选项?环境变量?

任何帮助,不胜感激。

您使用的是哪个操作系统版本?尝试将LD_PRELOAD设置为libssl的路径,例如:

export LD_PRELOAD=/lib/x86_64-linux-gnu/libssl.so.1.0.0

不确定管道错误,但我遇到了您的_hdfs_2_0_0_cdh_4_3_0问题(我的是不同版本的 hadoop,但我相信问题是相似的)。

setup.py 脚本似乎想在 pydoop 的/usr/local/lib/python2.7/dist-packages 中创建一个 egg 文件,但安装程序要求它只是一个文件夹(其中将包含该 _hdfs_2_0_0_cdh_4_3_0.so 文件)。

解决方案非常简单:只需删除/usr/local/lib/python2.7/dist-packages/pydoop-0.11.1.egg-info 或您的版本的等效版本。