AzureHDInsightsSpark群集安装外部库而不直接使用JAR

hmae6n7t  于 2021-05-29  发布在  Spark
关注(0)|答案(0)|浏览(234)

我有一个带Spark的hdi集群。我想在集群中安装一些外部库,比如“azurekustoconnector”,这样它们就可以在整个集群中使用,并且可以被任何spark作业使用。一种方法是将azure kusto jar和所有其他依赖jar存储在一个存储器中,从而将它们添加到集群中。这似乎不是一个很好的方法。有没有一些自动的方法可以做到这一点,我不必担心库的依赖性。有人知道这样的方法吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题