flink:内存耗尽异常

kzmpq1sx  于 2021-06-21  发布在  Flink
关注(0)|答案(0)|浏览(310)

我使用以下配置设置了flink群集:

任务管理器数量:2

当我运行连接组件算法时( org.apache.flink.graph.library.ConnectedComponents )在一个有400万条边和1750000个顶点平行度为2的图上,我得到一个例外:
java.lang.runtimeexception:获取排序输入时出错:线程“sortmerger reading thread”由于异常而终止:记录超过排序缓冲区的最大大小(当前最大值:87949312字节)。在org.apache.flink.runtime.operators.sort.unilatersortmerger.getiterator(unilatersortmerger。java:619)在org.apache.flink.runtime.operators.batchtask.getinput(batchtask。java:1108)在org.apache.flink.runtime.operators.noopdriver.run(noopdriver。java:82)在org.apache.flink.runtime.operators.batchtask.run(batchtask。java:503)在org.apache.flink.runtime.operators.batchtask.invoke(batchtask。java:368)在org.apache.flink.runtime.taskmanager.task.run(task。java:703)在java.lang.thread.run(线程。java:748)原因:java.io.ioexception:线程“sortmerger reading thread”因异常而终止:记录超过排序缓冲区的最大大小(当前最大值:87949312字节)。在org.apache.flink.runtime.operators.sort.unilatersortmerger$threadbase.run(unilatersortmerger。java:800)原因:java.io.ioexception:记录超出排序缓冲区的最大大小(当前最大值:87949312字节)。在org.apache.flink.runtime.operators.sort.unilatersortmerger$readingthread.go(unilatersortmerger。java:955)在org.apache.flink.runtime.operators.sort.unilatersortmerger$threadbase.run(unilatersortmerger。java:796)
根据我的配置,我不知道它为什么说 The record exceeds the maximum size of a sort buffer (current maximum:87949312 bytes) 当有足够的内存段时。
有人知道怎么解决这个问题吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题