如何将包参数指定/传递给aws glue spark作业？我正在使用胶水版本1，它支持spark 2.4.3，并希望使用spark avro来读取一些avro文件
q0qdq0h21#
您不能为粘合作业提供包选项，而是从maven存储库下载依赖jar然后将这些jar放在s3中，并将它们作为额外的jar传递给您的工作。这样您就可以访问作业中的那些jar。为了 spark2.4.3 你得把这个jar递给我https://repo1.maven.org/maven2/org/apache/spark/spark-avro_2.12/2.4.3/spark-avro_2.12-2.4.3.jar
spark2.4.3
1条答案
按热度按时间q0qdq0h21#
您不能为粘合作业提供包选项，而是从maven存储库下载依赖jar
然后将这些jar放在s3中，并将它们作为额外的jar传递给您的工作。这样您就可以访问作业中的那些jar。
为了
spark2.4.3你得把这个jar递给我https://repo1.maven.org/maven2/org/apache/spark/spark-avro_2.12/2.4.3/spark-avro_2.12-2.4.3.jar