文档章节

系统函数dlopen()被劫持导致symbol找不到的问题记录

恋恋美食
 恋恋美食
发布于 2014/07/29 14:46
字数 1248
阅读 3713
收藏 0

问题现象

我们实现了一个名叫libilvrfplugin.so的lib,该lib链接了libiubsntconflib.so, 而libiubsntconflib.so 又链接了libipconflib.so, libipconflib.so里面实现了一个方法check_vrf_r()用于检查VRF的合法性。
简单点来说,A lib链接了B lib,而B lib又链接了C lib,C lib实现了方法check_vrf_r().

某些场景下,系统会动态加载A lib, 但是A lib根本没用到方法check_vrf_r()。注意这里是动态加载的lib库,也就是lib的使用方运行时会使用dlopen()加载该lib。
在新发布的版本里,我们发现该lib竟然没起做用,好像该lib 根本就不存在一样。

我们在syslog里找到下面一条log:

Apr 17 15:46:27.718075 info CFPU-0 Validator: CPluginManager : Unable to load plugin libilvrfplugin.so Error:/opt/nokiasiemens/lib64/libiubsntconflib.so: undefined symbol: check_vrf_r

从syslog 里可以看出动态加载libilvrfplugin.so(也就是 A lib)时失败,原因是找不到符号check_vrf_r。

疑惑一:这几个lib在上一个版本里工作正常,当前版本里没有任何改动,为什么会出错呢?
疑惑二:libilvrfplugin.so 中根本没用到符号check_vrf_r,为什么会报找不到符号呢?

查找问题
根据syslog里的线索,定位到出事的代码:

...
lib_handle=dlopen(ep[count]->d_name,RTLD_LAZY);
if(!lib_handle)
{
    error = dlerror();
    TRACER(TRC_INFO)<<"CPluginManager : Unable to load plugin "
                    <<ep[count]->d_name << " Error:"<<error<<std::endl;
    free(ep[count]);
    continue;
} // if
...

这里使用dlopen()来加载动态链接库,并设置flag为RTLD_LAZY,该flag控制了dlopen()加载lib时的解析方式,加载时只解析用库里用到的符号。本例中符号check_vrf_r就属于只声明(include进来)而未使用的符号。
顺便说一句,dlopen()还有一种解析方式是RTLD_NOW,这就要求所有的符号都需要解析到地址,不管该符号有没有用到。

但是本例中dlopen()解析方式是正确的,我们期望不去解析符号check_vrf_r,可是为什么还是去解析了呢?

原因可能是glibc的实现有变,有个bug也说不准,还有可能是哪里改变了dlopen的实现。顺便说一句由于C语言没有命名空间的概念,所以你可以定义一个与系统函数同名的函数以覆盖系统函数,大多数情况应该避免这么做。

经查glibc在我们发布的两个版本中没有变化,那么很可能是哪里改变了或影响了dlopen()。不得已,只能去翻看我们这个版本中所有代码变化。

我们惊奇的发现,在某个脚本里新增了这么一行代码:

export LD_PRELOAD=/opt/nokiasiemens/SS_FConfigure/lib/libdlopeninterceptor.so

从字面意义上看跟dlopen有关,"dlopen劫持者",好霸气的名字!接着看这个代码会起什么作用。
这里export了环境变量LD_PRELOAD,该环境变量声明了应用程序加载前优先加载的动态链接库,换句话说如果这里的动态链接库实现了与系统函数同名的函数的话,那么将覆盖系统函数。

怀着激动的心情查看该动态lib的实现:

#include <dlfcn.h>
#include <syslog.h>
#include <stdlib.h>
#ifdef __cplusplus__
extern "C" {
#endif


typedef void* (*dlopen_func_t)(const char* filename, int flag);


static dlopen_func_t _glibc_dlopen = NULL;
void* dlopen(const char* filename, int flag)
{
    int realflag = flag;
    if (NULL == _glibc_dlopen) {
        _glibc_dlopen = (dlopen_func_t)dlsym(RTLD_NEXT, "dlopen");
        if (NULL == _glibc_dlopen) {
            syslog(LOG_CRIT, "dlopeninterceptor:Failed to resolve dlopen, got error:%s", dlerror());
            return NULL;
        }
    }


    if (realflag & RTLD_LAZY) {
        realflag = realflag & ~RTLD_LAZY;
        realflag = realflag | RTLD_NOW;
        syslog(LOG_DEBUG, "dlopeninterceptor:Changing dlopen flag from to %d to %d when opening %s", flag, realflag, filename);
    }


    return _glibc_dlopen(filename, realflag);
}


#ifdef __cplusplus__
}
#endif

惊奇的发现该Lib确实重写了dlopen(), 如果dlopen()指定的flag时RTLD_LAZY将强制转换成RTLD_NOW。找到root cause了,松一口气。

最后
查找到root cause后就简单了,给相应的组织或部门报个issue,将你的分析结果放上去就OK了,问题很快就解决了。后来听说是某个同事误操作在脚本中加了一行代码让dlopen()劫持者生效了。

类似这样的问题,root cause是很简单的,去fix花费的effort也不大。稍有困难的是如何在庞杂的系统中逐步定位问题,而且需要去查看整个系统的代码实现,由于对系统其他模块的不熟悉,必要时还需要给矛支持。感谢在此过程中给予支持的同事,也很欣慰公司有种很好的机制或氛围,让你在必要时都能得到给力的support。

 

© 著作权归作者所有

恋恋美食

恋恋美食

粉丝 107
博文 149
码字总数 135402
作品 0
杭州
高级程序员
私信 提问
dlopen & dlsys 动态加载库

在读HAL相关源码的时候发现这两个函数 简而言之,共享对象通过dlopen动态打开动态库的加载完成后,返回一个句柄,通过dlsym定位到你需要执行的函数指针然后可以在程序中使用 dlopen -- open...

垂盆草
2013/05/27
0
0
Linux系统中静态库和动态库的生成和使用

一、静态库的创建和使用: 1、生成静态库 :库名 libmylib.a ar rcs libmylib.a mylib.o 2、将静态库copy到 /usr/lib/ 或/lib/ 目录下 cp libmylib.a /usr/lib/ 3、静态库的使用 比如测试文件...

lichao19881026
2014/05/16
0
0
Linux下的动态链接库.so文件的使用

参考文献: http://blog.csdn.net/jenshy/article/details/674621 1 简介 大家都知道,在WINDOWS系统中有很多的动态链接库(以.DLL为后缀的文件,DLL即Dynamic Link Library)。这种动态链接库,...

长平狐
2013/03/19
111
0
Linux下共享库(SO)有关的几个环境变量

Linux支持共享库已经有悠久的历史了,不再是什么新概念了。大家都知道如何编译、连接以及动态加载(dlopen/dlsym/dlclose) 共享库。但是,可能很多人,甚至包括一些高手,对共享库相关的一些环...

鉴客
2011/09/28
290
0
Linux下c函数dlopen实现加载动态库so文件代码举例

dlopen()是一个强大的库函数。该函数将打开一个新库,并把它装入内存。该函数主要用来加载库中的符号,这些符号在编译的时候是不知道的。这种机制使得在系统中添加或者删除一个模块时,都不需...

小星星程序员
2014/11/14
0
0

没有更多内容

加载失败,请刷新页面

加载更多

lua字符串和时间戳相互转换

1. 时间戳转成格式化字符串 直接利用函数os.date()将时间戳转化成格式化字符串.```local timestamp = 1561636137;local strDate = os.date("%Y/%m/%d %H:%M:%S", timestamp)print("strD......

书香神
24分钟前
0
0
代码规范

代码格式化 安装vscode插件:Prettier - Code formatter 格式化配置:将下列配置写入到vscode的settings.json文件 (遵照代码格式化) "prettier.disableLanguages": ["vue"], "prettier.......

TreeZhou0511
今天
4
0
python实现人工神经网络的一个例子

人工神经网络已经有无数的开源框架,比如tensorflow,caffe等,可以直接用。但最近需要做一个小样例,把基本思想讲一讲,因此自己写了一个demo,以供参考。 下面直接上代码,代码中有注释,比...

propagator
今天
5
0
远程dubugger

1、在tomcat的bin下/data/project/XXX/apache-tomcat-8.5.23/bin 在catalina.bat文件中新增如下即可 JAVA_OPTS="-Xmx1024m -Xms1024m -agentlib:jdwp=transport=dt_socket,server=y,suspend......

一只小青蛙
今天
2
0
jemter 连接MySQL

jemter 连接MySQL 点击测试计划,测试计划最后”添加目录或jar包到ClassPath“,点击浏览,添加mysql-connector.jar mysql-connector.jar的下载地址: https://mvnrepository.com/artifact/my...

xiaobai1315
今天
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部