我可以让共享库构造函数在重定位之前执行吗

Can I make shared library constructors execute before relocations?

本文关键字:定位 执行 共享 构造函数 我可以      更新时间:2023-10-16

背景:我正在尝试实现一个类似于前面答案中描述的系统。简而言之,我有一个链接到共享库的应用程序(目前在Linux上)。我希望共享库在运行时在多个实现之间切换(例如,基于主机CPU是否支持某个指令集)。

在最简单的情况下,我有三个不同的共享库文件:

  • libtest.so:这是库的"普通"版本,将用作后备情况
  • libtest_variant.so:如果CPU支持,这是我想在运行时选择的库的"优化"变体。它与libtest.so兼容ABI
  • libtest_dispatch.so:这是负责选择在运行时使用库的哪个变体的库

为了与上面链接答案中建议的方法保持一致,我正在进行以下操作:

  • 最终应用程序与libtest.so链接
  • 我将libtest.soDT_SONAME字段设置为libtest_dispatch.so。因此,当我运行应用程序时,它将加载libtest_dispatch.so,而不是实际的依赖项libtest.so
  • libtest_dispatch.so被配置为具有如下的构造函数(伪代码):

    __attribute__((constructor)) void init()
    {
        if (can_use_variant) dlopen("libtest_variant" SHLIB_EXT, RTLD_NOW | RTLD_GLOBAL);
        else dlopen("libtest" SHLIB_EXT, RTLD_NOW | RTLD_GLOBAL);
    }
    

    dlopen()的调用将加载提供适当实现的共享库,应用程序将继续运行

结果:有效!如果我在每个共享库中放置一个名称相同的函数,我可以在运行时验证是否根据调度库使用的条件执行了适当的版本。

问题:以上适用于我在链接问题中演示的玩具示例。具体来说,如果库只导出函数,它似乎可以正常工作。然而,一旦有变量在起作用(无论它们是具有C链接的全局变量还是像typeinfo这样的C++构造),我都会在运行时遇到未解决的符号错误。

下面的代码演示了这个问题:

libtest.h

extern int bar;
int foo();

libtest.cc

#include <iostream>
int bar = 2;
int foo()
{
    std::cout << "function call came from libtest" << std::endl;
    return 0;
}

libtest_variant.cc

#include <iostream>
int bar = 1;
int foo()
{
    std::cout << "function call came from libtest_variant" << std::endl;
    return 0;
}

libtest_dispatch.cc

#include <dlfcn.h>
#include <iostream>
#include <stdlib.h>
__attribute__((constructor)) void init()
{
    if (getenv("USE_VARIANT")) dlopen("libtest_variant" SHLIB_EXT, RTLD_NOW | RTLD_GLOBAL);
    else dlopen("libtest" SHLIB_EXT, RTLD_NOW | RTLD_GLOBAL);
}

测试.cc

#include "lib.h"
#include <iostream>
int main()
{
    std::cout << "bar: " << bar << std::endl;
    foo();
}

我使用以下内容构建库和测试应用程序:

g++ -fPIC -shared -o libtest.so libtest.cc -Wl,-soname,libtest_dispatch.so
g++ -fPIC -shared -o libtest_variant.so libtest_variant
g++ -fPIC -shared -o libtest_dispatch.so libtest_dispatch.cc -ldl
g++ test.cc -o test -L. -ltest -Wl,-rpath,.

然后,我尝试使用以下命令行运行测试:

> ./test
./test: symbol lookup error: ./test: undefined symbol: bar
> USE_VARIANT=1 ./test
./test: symbol lookup error: ./test: undefined symbol: bar

失败。如果我删除全局变量bar的所有实例,并尝试仅调度foo()函数,那么它都可以工作。我正试图弄清楚为什么,以及在存在全局变量的情况下,我是否能得到我想要的效果。

调试:在尝试诊断问题时,我在运行测试程序时使用了LD_DEBUG环境变量。问题似乎归结为:

动态链接器在加载过程的早期执行共享库中全局变量的重定位,然后调用共享库中的构造函数。因此,它试图在我的调度库有机会运行其构造函数并加载将实际提供这些符号的库之前定位一些全局变量符号。

这似乎是一个很大的障碍。有没有什么方法可以改变这个过程,以便我的调度程序可以首先运行?

我知道我可以使用LD_PRELOAD预加载库。然而,对于我的软件最终运行的环境来说,这是一个繁琐的要求。如果可能的话,我想找到一个不同的解决方案

经过进一步审查,似乎即使我LD_PRELOAD图书馆,我也有同样的问题。在全局变量符号解析发生之前,构造函数仍然不会执行。预加载功能的使用只会将所需的库推到库列表的顶部。

失败。如果我删除了全局变量bar的所有实例,并尝试只调度foo()函数,那么一切都可以。

这在没有全局变量的情况下有效的原因是函数(默认情况下)使用延迟绑定,但变量不能(出于明显的原因)。

如果您的测试程序与-Wl,-z,now链接(这将禁用函数的延迟绑定),那么在没有任何全局变量的情况下,您将得到完全相同的失败。

您可以通过将主程序引用的每个全局变量的实例引入调度库来解决此问题。

与您的另一个答案相反,这是而不是执行CPU特定调度的标准方法。

有两种标准方式。

旧版本:使用$PLATFORM作为DT_RPATHDT_RUNPATH的一部分。内核将传入一个字符串,如x86_64i386i686,作为aux向量的一部分,ld.so将用该字符串替换$PLATFORM

这允许发行版同时提供i386i686优化库,并让程序根据运行的CPU选择合适的版本

不用说,这不是很灵活,而且(据我所知)不允许您区分各种x86_64变体。

新的热点是IFUNC调度,记录在这里。这是GLIBC目前用来提供不同版本的例程,例如memcpy,具体取决于它运行在哪个CPU上。还有targettarget_clones属性(记录在同一页上),允许您编译例程的几个变体,这些变体针对不同的处理器进行了优化(以防您不想在汇编中对它们进行编码)。

我正试图将这个功能应用到一个现有的、非常大的库中,所以重新编译是实现它的最直接的方法

在这种情况下,您可能需要将二进制文件封装在shell脚本中,并根据CPU将LD_LIBRARY_PATH设置为不同的目录。或者在运行程序之前让用户source执行您的脚本。

target_clones看起来确实很有趣;是最近添加到gcc 中的吗

我相信IFUNC的支持大约有4-5年的历史,GCC中的自动克隆大约有2年的历史。是的,是最近才有的。

它本身可能不是重定位(-fPIC抑制重定位),而是通过GOT(全局偏移表)的延迟绑定,具有相同的效果。这是不可行的,因为在调用init之前,Linker必须绑定变量——这只是因为init还可以引用这些符号。

广告寻找解决方案。。。好吧,曾经的解决方案可能是向可执行代码使用(甚至公开)全局变量。相反,提供一组函数来访问它们。无论如何,全局变量都不受欢迎:)