我是EMR无服务器的新手，我想知道如何在spark应用程序中传递jar和包，例如：
spark-submit --deploy-mode client --jars /usr/lib/hudi/hudi-spark3.3-bundle_2.12-0.11.1-amzn-0.jar,/usr/lib/hudi/hudi-utilities-bundle_2.12-0.11.1-amzn-0.jar ...我想在提交工作时设置，但我找不到如何做的方法。
有人能帮我一下吗？
我是EMR无服务器的新手，我想知道如何在spark应用程序中传递jar和包，例如：
spark-submit --deploy-mode client --jars /usr/lib/hudi/hudi-spark3.3-bundle_2.12-0.11.1-amzn-0.jar,/usr/lib/hudi/hudi-utilities-bundle_2.12-0.11.1-amzn-0.jar ...我想在提交工作时设置，但我找不到如何做的方法。
有人能帮我一下吗？
1条答案
按热度按时间monwx1rj1#
在控制台中向EMR Serverless提交作业时，如果您希望为
spark-submit提供其他选项，可以使用“Spark properties”部分。您可以使用spark.jars键来代替--jars，并适当地设置值。您的Spark应用程序将是S3上的Python脚本或JAR文件，作为“脚本位置”（又名入口点）提供。
还要注意，Hudi在EMR无服务器映像上可用，并且有一些documentation on using Hudi with EMR Serverless。