超出gc开销限制-databricks内存不足

lf3rwulv  于 2021-05-26  发布在  Spark
关注(0)|答案(0)|浏览(275)

我试着运行我的splink库来获取不同数据源之间的数据链接和重复数据消除,这些数据源有数百万条记录,但不幸的是,我要么出现内存不足错误,要么可能是由于容器超过阈值,或者是网络问题。我也附上了我的集群配置截图。有人能帮我解决这个问题吗。群集配置
错误消息
错误消息

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题