Azure Databricks:在没有互联网接入的虚拟网络下导入PyPI库

bq9c1y66  于 2023-06-07  发布在  其他
关注(0)|答案(2)|浏览(362)

我们有一个带有虚拟网络的Azure Databricks群集,以及一个仅允许群集节点之间连接而不允许访问Internet的网络安全组。
当我们试图通过PyPI导入一个库并启动de cluster时,这个错误是由集群给出的:
警告:在连接被“NewConnectionError(':)”断开后重试(重试(total=4,connect= None,read=None,redirect=None,status=None))无法建立新连接:[错误101]网络无法访问',)':/simple/azure-datalake-store/
有趣的是,如果你试图导入一个Maven库,它可以正常工作。

任何人都知道如何解决这个问题。
谢谢

ykejflvf

ykejflvf1#

Log4j附带了数据块,所以它可能是在本地缓存中找到的。如果你在maven上尝试一些随机的东西,它应该会失败。
至于pypi,你不能直接连接,所以你不能通过这种方式添加库。而是手动将库下载到桌面并从ui手动安装。
您需要手动将库文件上载到dbfs。使用cli或powershell来执行此操作。然后在工作区中使用to add > library选项添加库。链接到您的文件位置。

lyfkaqu1

lyfkaqu12#

我们已经在网络安全组中打开了IP范围151.101.0.0/16和端口443,PYPI库可以正常工作

相关问题