在hadoop 2.7.4的自定义排序类中调用C函数,给出Java.lang.unsatisfiedlinkerror

calling a C function in customized sort class of hadoop 2.7.4 giving java.lang.UnsatisfiedLinkError

本文关键字:函数 调用 给出 unsatisfiedlinkerror lang Java hadoop 排序 自定义      更新时间:2023-10-16

我已经自定义了hadoop的排序功能:

conf.set("map.sort.class", "custom_map_output.CustomQuickSort");

我可以看到Hadoop使用我的CustomQuicksort实用程序对键进行排序。现在,我想调用C 函数来进行键分类。我明白了当我调用C 函数时,请敏感。我的system.loadlibrary(" xyz")被调用,因为当我提供错误的时候库名称,我会收到一个正确的错误消息。

如果我将CustomQuicksort成为独立程序,则C 功能称为正常功能,因此我的JNI设置正确并作为独立Java程序的一部分进行了测试。

我已经设置了ld_library_path,以指向libxyz.so所在的地方。我还设置了以下(基于对类似问题的评论):

conf.set("mapreduce.map.env", "LD_LIBRARY_PATH=....")
conf.set("mapreduce.reduce.env", "LD_LIBRARY_PATH= ...")
conf.set("mapred.child.java.opts", "-Djava.library.path= ...")

这些都没有起作用。

事先感谢您的帮助。

我能够解决问题。它与已调用功能的完整路径有关。我已经与实际的Hadoop程序分开创建了Helloworld.h/.cpp,因此完整的路径与不匹配。解决该问题后,解决了。