使用spark为python代码运行teradasql驱动程序

wmtdaxz3  于 2021-05-27  发布在  Spark
关注(0)|答案(1)|浏览(356)

我想用python编写代码从teradata获取数据。代码应该在集群和本地上使用spark运行时工作。使用spark运行时,我不想打开执行器上的连接。所以计划是使用teradasql包在驱动程序上运行代码。由于TeradasQL包是这样的库,所以我认为我没有在集群上安装teradata库。
我将依赖项(即teradasql)打包为egg文件,并将其作为--py文件传递。但在代码上运行时,teradasql无法从egg文件中读取库。
操作系统错误:teradasql.so无法打开共享对象文件。不是目录。
我按照以下步骤打包egg文件。1pip install teradastql--target./src#注意我的所有代码都在src文件夹中。执行此步骤将在我的src文件夹中安装teradasql包。它包含teradasql.so库2。在setup.py packages=find_packages('src')中,package_data={'teradastql':['teradastql.so']}3。python安装程序.py bdist\u eggg

rseugnpd

rseugnpd1#

teradasql驱动程序使用共享库与teradata数据库通信。
如果只重新打包驱动程序的python文件部分,teradasql驱动程序将无法工作。你得到的错误将会发生。
teradasql驱动程序的预期用途是使用命令pip install teradasql将其安装到python环境中
如果您拆开并重新打包teradasql驱动程序,我们将无法有效地支持您。这不是一个受支持的用例。

相关问题