在spark submit中加载属性文件时出错

fumotvh3  于 2021-06-02  发布在  Hadoop
关注(0)|答案(0)|浏览(258)

我是scala/spark的新手。我面临以下问题。请给我一些建议。
我的属性文件包含(prop.conf):

spark.shuffle.memoryFraction    0.5
spark.yarn.executor.memoryOverhead      712
spark.default.parallelism       100
spark.network.timeout   1500000

我是这样执行的:

spark-submit --class org.sia.chapter03App.AppTest  --master yarn --deploy-mode cluster --num-executors 40 --executor-cores 1 --executor-memory 3100m --files /home/biadmin/ddls/20160608/hive-site.xml  --properties-file /home/prop.conf  --jars  /usr/iop/4.1.0.0/spark/lib/datanucleus-api-jdo-3.2.6.jar,/usr/iop/4.1.0.0/spark/lib/datanucleus-rdbms-3.2.9.jar,/usr/iop/4.1.0.0/spark/lib/datanucleus-core-3.2.10.jar /home/original-chapter03App-0.0.1-SNAPSHOT.jar

我是这样写的:
--属性文件/home/prop.conf
但执行失败,错误为:
用户类引发异常:java.lang.reflect.invocationtargetexception
提前谢谢。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题