为现有spark代码向aws glue添加jdbc驱动程序

falq053o  于 2021-05-27  发布在  Spark
关注(0)|答案(1)|浏览(358)

我试图在aws胶水上运行现有的spark(scala)代码。
此代码使用 spark.read.option("jdbc") 我已经用 spark.driver.extraClassPath 选项。
这在本地和emr上都可以很好地工作,假设我可以首先通过引导操作将驱动程序从s3复制到示例。
但是胶水的等效物是什么呢?如果我将驱动程序添加到“dependent jars”选项中,它将不起作用,并且会出现“no-suitable driver”错误,可能是因为spark自己的类加载器必须能够看到jar。

5hcedyr0

5hcedyr01#

编辑您的作业,在屏幕的最后,您可以看到libraries选项。
需要一些选项,请参阅文档的最后一部分。

相关问题