我正在hdicluster上运行pyspark代码，出现以下错误：
由于致命错误，代码失败：会话681意外达到最终状态“dead”。查看日志：
我没有Yarn或hadoop的经验。我尝试了堆栈溢出中提供的几个链接。但他们都没帮上忙。一件奇怪的事是，我昨天能够运行相同的代码而没有出现错误。
我刚运行了这个导入 from pyspark.sql import SparkSession 这是我得到的错误：
19/06/21 20:35:35 INFO Client:
client token: N/A
diagnostics: [Fri Jun 21 20:35:35 +0000 2019] Application is Activated, waiting for resources to be assigned for AM. Details : AM Partition = <DEFAULT_PARTITION> ; Partition Resource = <memory:819200, vCores:240> ; Queue's Absolute capacity = 50.0 % ; Queue's Absolute used capacity = 99.1875 % ; Queue's Absolute max capacity = 100.0 % ;
ApplicationMaster host: N/A
ApplicationMaster RPC port: -1
queue: default
start time: 1561149335158
final status: UNDEFINED
tracking URL: https://mmsorderpredhdi.azurehdinsight.net/yarnui/hn/proxy/application_1560840076505_0062/
user: livy
19/06/21 20:35:35 INFO ShutdownHookManager: Shutdown hook called
19/06/21 20:35:35 INFO ShutdownHookManager: Deleting directory /tmp/spark-bb63c5f0-7579-4456-b32a-0e643ca97ecc
YARN Diagnostics:
Application killed by user..问题：是否有什么方法来处理队列的绝对已用容量？
1条答案
按热度按时间uqjltbpv1#
你能查一下日志找出确切的问题吗？
在哪里可以找到日志文件？
在azurehdinsight集群上，您可以通过ssh连接到一个head节点并在此路径下载一个文件来找到livy日志。
有关更多详细信息，请参阅“在基于linux的hdinsight上访问apache hadoop应用程序日志”
此外，您还可以参考“如何在pyspark中启动sparksession”。
希望这有帮助。