我有4节点hadoop集群,我在其中运行spark作业。工作是非常基本的,比如字数统计。a我的spark设置有以下问题:
我所有的任务都是本地级别的,甚至是简单的Map任务
.... 19年5月16日15:36:14 info scheduler.tasksetmanager:在阶段1.1中启动task 24.0(tid 451、217.69.134.5、分区65、机架\本地、,2168 bytes)16/05/19 15:36:14 info scheduler.tasksetmanager:在217.69.134.5(14/76)16/05/19 15:36:14 info scheduler.tasksetmanager:在6635毫秒内完成阶段1.1(tid 448)中的任务21.0。tasksetmanager:在阶段1.1(tid 452,217.69.134.5,分区67,机架\本地,2168 bytes)16/05/19 15:36:14 info scheduler.tasksetmanager:在217.69.134.5(15/76)16/05/19 15:36:20 info scheduler.tasksetmanager:在6858毫秒内完成阶段1.1(tid 449)中的任务22.0。tasksetmanager:在阶段1.1(tid 453、217.69.134.5、分区68、机架\本地、,2168字节)16/05/19 15:36:20 info scheduler.tasksetmanager:在217.69.134.5(16/76)16/05/19 15:36:21 info scheduler.tasksetmanager:在6872毫秒内完成阶段1.1(tid 454,217.69.134.5,分区75,机架\本地)中的任务24.0,2168字节)16/05/19 15:36:21 info scheduler.tasksetmanager:在217.69.134.5(17/76)16/05/19 15:36:21 info scheduler.tasksetmanager:在7049毫秒内完成阶段1.1(tid 450)中的任务23.0。tasksetmanager:在阶段1.1(tid 455、217.69.134.5、分区76、机架\本地、,2168 bytes)16/05/19 15:36:21 info scheduler.tasksetmanager:在217.69.134.5(18/76)16/05/19 15:36:23 info scheduler.tasksetmanager:在6893毫秒内完成阶段1.1(tid 456,217.69.134.5,分区84,机架\本地)中的任务25.0,2168 bytes)16/05/19 15:36:23 info scheduler.tasksetmanager:在217.69.134.5(19/76)16/05/19 15:36:25 info scheduler上以43633毫秒的时间完成阶段1.1(tid 428)中的任务1.0。tasksetmanager:在阶段1.1(tid 457、217.69.134.8、分区85、机架\本地)中启动任务30.0,2168 bytes)16/05/19 15:36:25 info scheduler.tasksetmanager:在217.69.134.8(20/76)16/05/19 15:36:25 info scheduler.tasksetmanager:在43612毫秒内完成阶段1.1(tid 433)中的任务6.0。tasksetmanager:启动阶段1.1中的任务31.0(tid 458、217.69.134.8、分区90、机架\本地,2168 bytes)16/05/19 15:36:25 info scheduler.tasksetmanager:在217.69.134.8(21/76)以44555毫秒的时间完成了阶段1.1(tid 431)中的任务4.0。。。。。
我不能做需要洗牌的任务,比如join、distinct等,它们会挂起然后挂起。
16/05/19 15:38:33 warn scheduler.tasksetmanager:在阶段2.0中丢失任务8.0(tid 419217.69.134.8):获取失败(blockmanagerid(7217.69.134.633955),s huffleid=0,mapid=6,reduceid=8,message=org.apache.spark.shuffle.fetchfailedexception:未能连接到org.apache.spark.storage.shuffleblockfetcheriterator.throwfetchfailedexception(shuffleblockfetcheriterator)上的/217.69.134.6:33955。scala:323)在org.apache.spark.storage.shuffleblockfetcheriterator.next(shuffleblockfetcheriterator。scala:300)在org.apache.spark.storage.shuffleblockfetcheriterator.next(shuffleblockfetcheriterator。scala:51)在scala.collection.iterator$$anon$11.next(iterator。scala:328)在scala.collection.iterator$$anon$13.hasnext(iterator。scala:371)在scala.collection.iterator$$anon$11.hasnext(iterator。scala:327)在org.apache.spark.util.completioniterator.hasnext(completioniterator。scala:32)在org.apache.spark.interruptibleiterator.hasnext(interruptibleiterator。scala:39)在scala.collection.iterator$$anon$11.hasnext(iterator。scala:327)在scala.collection.iterator$class.foreach(iterator。scala:727)在scala.collection.abstractiterator.foreach(迭代器。scala:1157)在org.apache.spark.api.pythonrdd$.writeiteiteratortostream(pythonrdd。scala:452)在org.apache.spark.api.pythonrunner$writerthread$$anonfun$run$3.apply(pythonrdd。scala:280)在org.apache.spark.util.utils$.loguncaughtexceptions(utils。scala:1766)在org.apache.spark.api.python.pythonrunner$writerthread.run(pythonrdd。scala:239)原因:java.io.ioexception:无法连接到/217.69.134.6:33955
我的配置有什么问题?
暂无答案!
目前还没有任何答案,快来回答吧!