Apache Spark 如何在我的应用程序中包含Glue 4.x库?-没有任何运气找到这些jar所在的位置

zfciruhq  于 2022-12-13  发布在  Apache
关注(0)|答案(1)|浏览(120)

我正在尝试从Glue 2.x升级到4.x,并且已经成功地升级到3.x。Glue 4.x更令人头痛,因为我找不到任何关于如何配置构建的示例(任何示例都会有帮助:SBT/Maven/Gradle),其拉取该特定依赖性。
在github上有大量的例子来说明如何使用Glue 3.x...例如:

https://github.com/novakov-alexey-zz/spark-elt-jobs/blob/138c1c479d7f68b8fcafbb7daca5889fe2944f18/project/Dependencies.scala

我想如果我只是像这样碰撞的版本我可以移动:

lazy val awsGlue = "com.amazonaws" % "AWSGlueETL" % "3.0.0" ->
lazy val awsGlue = "com.amazonaws" % "AWSGlueETL" % "4.0.0"

但我得到这个错误建设从sbt〉未找到:https://aws-glue-etl-artifacts.s3.amazonaws.com/release/com/amazonaws/AWSGlueETL/4.0.0/AWSGlueETL-4.0.0.pom
4.0.0版本的.jar文件似乎不存在。
我可以执行下面的命令,为3.0.0 -〉wget https://aws-glue-etl-artifacts.s3.amazonaws.com/release/com/amazonaws/AWSGlueETL/3.0.0/AWSGlueETL-3.0.0.jar提取jar
但是,当我尝试对4.0.0执行同样的操作时,wget https://aws-glue-etl-artifacts.s3.amazonaws.com/release/com/amazonaws/AWSGlueETL/4.0.0/AWSGlueETL-4.0.0.jar失败了
任何指导不胜感激!

mrfwxfqh

mrfwxfqh1#

好的,AWS支持告诉我还没有可用的.jar。他们验证了我上面使用的完全相同的wget命令。为什么他们发布了一个不具备这种重要功能的版本,即依赖于这个新的.jar来进行scala/java构建?你现在只能从他们的控制台使用Glue。希望他们能修复..但这是现在的情况。

相关问题