Apache Spark 连接异常:连接被拒绝(连接被拒绝)获取新通信信道时出错,数据块笔记本出错

fxnxkyjh  于 2023-01-31  发布在  Apache
关注(0)|答案(1)|浏览(414)

在python databricks笔记本中运行python代码(ML模型)时,我遇到以下错误消息
连接异常:连接被拒绝(连接被拒绝)获取新通信信道时出错
连接异常错误:这通常是由于OOM错误导致到Python REPL的连接被关闭。请检查查询的内存使用情况。

xdyibdwo

xdyibdwo1#

驱动程序可能遇到内存瓶颈,这是导致此问题的常见原因。发生这种情况时,驱动程序会出现内存不足(OOM)崩溃、经常重新启动或失去响应。以下任何因素都可能是内存瓶颈的原因:

  • 对于施加在驱动程序上的负载,驱动程序示例类型并不理想。
  • 内存密集型程序在驱动程序上执行。
  • 同一个集群托管大量并发笔记本或进程。

请尝试以下选项

  • 请尝试增加驱动程序端内存,然后重试。
  • 你可以看看spark job dag,它给予你更多关于数据流的信息。

相关问题