spark:使用推测属性时,应用程序随机失败,无法创建\文件

dluptydi  于 2021-07-09  发布在  Spark
关注(0)|答案(0)|浏览(209)

我在算法中启用了推测属性。有了这个属性,当我执行任务时,10次,8次任务都完成了,没有任何问题,而且完成得也很快。但有2次应用程序失败,并显示以下错误消息。随机失效。
即使投机财产给我们的好处,因为随机失败,我不在一个国家使用这个财产在生产中。你能帮忙解决这个问题吗。
错误message:-

"Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.AlreadyBeingCreatedException): 
Failed to CREATE_FILE hdfs://.../.spark-staging-c103afe4-4b1d-4105-8e1a-b67ad2347aef/calendar_date=2021-02-28/iteration=2/part-02528-c103afe4-4b1d-4105-8e1a-b67ad2347aef.c000.snappy.orc 
for DFSClient_NONMAPREDUCE_-321811341_100 on 172.22.48.145 because this file lease is currently owned by DFSClient_NONMAPREDUCE_-537211732_100 on 172.22.48.145"

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题