我正在aws emr cluster 1 master上运行一个spark作业，3个内核每个都有16个vcpu，大约10分钟后，我得到下面的错误。在windows机器上运行得非常好。
堆栈跟踪：

20/06/25 15:17:59 ERROR AsyncEventQueue: Listener EventLoggingListener threw an exception
java.io.IOException: All datanodes [DatanodeInfoWithStorage[172.34.18.217:50010,DS-0662bfa1-3e63-4ccc-8493-3deaf3ed2bbf,DISK]] are bad. Aborting...
        at org.apache.hadoop.hdfs.DataStreamer.handleBadDatanode(DataStreamer.java:1531)
        at org.apache.hadoop.hdfs.DataStreamer.setupPipelineForAppendOrRecovery(DataStreamer.java:1465)
        at org.apache.hadoop.hdfs.DataStreamer.processDatanodeError(DataStreamer.java:1237)
        at org.apache.hadoop.hdfs.DataStreamer.run(DataStreamer.java:657)

我尝试了：.config（“spark.dynamicalocation.enabled”，“true”）.config（“spark.shuffle.service.enabled”，“true”）；但那没用。
你知道为什么会发生这种情况以及如何解决吗？