我是scala/spark的新手。我面临以下问题。请给我一些建议。
我的属性文件包含(prop.conf):
spark.shuffle.memoryFraction 0.5
spark.yarn.executor.memoryOverhead 712
spark.default.parallelism 100
spark.network.timeout 1500000
我是这样执行的:
spark-submit --class org.sia.chapter03App.AppTest --master yarn --deploy-mode cluster --num-executors 40 --executor-cores 1 --executor-memory 3100m --files /home/biadmin/ddls/20160608/hive-site.xml --properties-file /home/prop.conf --jars /usr/iop/4.1.0.0/spark/lib/datanucleus-api-jdo-3.2.6.jar,/usr/iop/4.1.0.0/spark/lib/datanucleus-rdbms-3.2.9.jar,/usr/iop/4.1.0.0/spark/lib/datanucleus-core-3.2.10.jar /home/original-chapter03App-0.0.1-SNAPSHOT.jar
我是这样写的:
--属性文件/home/prop.conf
但执行失败,错误为:
用户类引发异常:java.lang.reflect.invocationtargetexception
提前谢谢。
暂无答案!
目前还没有任何答案,快来回答吧!