在zeppelin上以ApacheFlink独立模式运行作业时,我有一个错误“toolongframeexception:调整后的帧长度超过”

m528fe3b  于 2021-06-21  发布在  Flink
关注(0)|答案(0)|浏览(1742)

我想用齐柏林飞艇在ApacheFlink中运行一个简单的任务。我已经创建了一个运行Zeppelin0.8.0的docker容器。在同一个容器中,我运行了apache flink 1.6.1。当我使用齐柏林飞艇默认的flink解释器运行作业时,效果很好,我可以看到作业的结果。但当我在独立模式下运行flink 1.6.1的解释器中执行此操作时,出现以下错误:

我的解释器配置:

在flink-conf.yaml中设置的属性

jobmanager.rpc.address: 0.0.0.0
jobmanager.rpc.port: 6134

jobmanager.heap.size: 1024m
taskmanager.heap.size: 1024m
taskmanager.numberOfTaskSlots: 1
parallelism.default: 1

我在flink日志中得到的错误(这意味着flink从齐柏林飞艇那里得到了工作):

2019-01-18 15:30:53,761 WARN  
akka.remote.transport.netty.NettyTransport - Remote connection to 
[/172.17.0.2:54842] failed with org.apache.flink.shaded.akka.org.jboss.netty.handler.codec.frame.TooLongFrameException: Adjusted frame length exceeds 10485760: 2147549189 - discarded

我知道akka的帧大小消息默认设置为10485760b,但是我收到的值2147549189太大了。我试着在flink-conf.yaml中修改这个属性akka.framesize:10485760b,但是我不能放这么大的尺寸,对我来说没有太多意义。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题