其他加载的库使用插件中的符号
如果其他库在链接时未链接到该共享库，则引用共享库的符号不会阻止卸载该共享库。
要调试运行时链接器，请将环境变量LD_DEBUG设置为all，例如LD_DEBUG=all ./my_app。有关详细信息，请参阅man ld.so。

很久以前你就发布了这个问题，你可能已经找到了答案，但它仍然可能对其他人感兴趣。我想说你的结论“其他加载的lib正在使用插件的符号”是正确的。系统能够在符号绑定时检测到这一点。glibc中的相关代码是AFAICT如下（glibc 2.38源代码中的elf/dl-lookup.c::_dl_lookup_symbol_x()）：

/* We have to check whether this would bind UNDEF_MAP to an object
     in the global scope which was dynamically loaded.  In this case
     we have to prevent the latter from being unloaded unless the
     UNDEF_MAP object is also unloaded.  */
  if (__glibc_unlikely (current_value.m->l_type == lt_loaded)
      /* Don't do this for explicit lookups as opposed to implicit
         runtime lookups.  */
      && (flags & DL_LOOKUP_ADD_DEPENDENCY) != 0
      /* Add UNDEF_MAP to the dependencies.  */
      && add_dependency (undef_map, current_value.m, flags) < 0)
    ...

字符串
这里值得注意的是对add_dependency()的调用。
换句话说，在符号查找时，会记录一个依赖项，这意味着如果其他库X使用了插件中的符号，那么只有当X被dlclosed时（这可能只发生在exit()），插件才会被卸载。
关于您的其他问题：
你知道一种方法来验证dlopen的引用计数吗？
我不知道该怎么做。
如果我的插件的内部符号（意外地）被其他库使用，有没有办法追踪谁在使用哪些符号？
LD_DEBUG=bindings应该可以帮助解决这个问题。