once应用程序将正确启动once将显示错误

fcy6dtqo 于 2021-05-29 发布在 Hadoop

关注(0)|答案(2)|浏览(439)

我有一个四万行的文件，每行一个字，彼此。
我启动hadoop，master，slaves-一切正常：

start-dfs.sh;start-yarn.sh;/opt/spark/sbin/start-master.sh;/opt/spark/sbin/start-slaves.sh

我运行了示例应用程序，其中包括：

/opt/spark/bin/spark-submit --class org.apache.spark.examples.JavaWordCount --deploy-mode cluster --master yarn --driver-memory 2g --executor-memory 2g /opt/spark/examples/jars/spark-examples_2.11-2.0.0.jar hdfs://hadoop-master:9000/input/outputData.fcs

我有一个问题：一旦应用程序正确启动并显示结果，一旦显示错误（并且在重新启动之间我没有做任何更改）：

ERROR shuffle.RetryingBlockFetcher: Exception while beginning fetch of 1 outstanding blocks 
java.io.IOException: Failed to connect to iws2/172.29.77.40:43688

链接到完整日志时出错
我不知道怎么了。在我的配置文件下面：
yarn-site.xml文件
所有的奴隶和主人都在“主人”，“奴隶”的档案中被正确的设置。

hadoop yarn apache-spark distributed-computing Connection

来源：https://stackoverflow.com/questions/39046063/hadoopspark-once-application-will-start-properly-once-will-display-the-error

2条答案

按热度按时间

qcuzuvrc1#

错误状态为：
无法连接到iws2/172.29.77.40:43688
结果就是网络问题。确保您的集群配置正确，并开始查找有关此的信息。
希望这有帮助。

赞(0）回复(0）举报 2021-05-29

qncylg1j2#

谢谢你的回复。
来自/opt/hadoop/hadoop/etc/hadoop/（它们在主服务器和从服务器上相同）的文件：
core-site.xml文件
hdfs-site.xml文件
mapred-site.xml文件
我在spark中修改的一个文件（/opt/spark/conf/；主人和奴隶是一样的）：
spark-env.sh公司
和主机文件：
/etc/主机
文件“master”和“slaves”在所有节点上都是相同的：slaves，master。
我不知道哪里出了问题。
编辑：
我在capacity-scheduler.xml中更改了：

<property>
     <name>yarn.scheduler.capacity.maximum-am-resource-percent</name>
     <value>1</value>
  </property>

在yarn-site.xml中：

<property>
     <name>yarn.nodemanager.vmem-pmem-ratio</name>
     <value>2.1</value>
  </property>

现在成功了！
第二个选项：我更改了输入文件。
也许对其他人有用。

赞(0）回复(0）举报 2021-05-29

我来回答

once应用程序将正确启动once将显示错误

2条答案

相关问题

热门标签

最新问答