我想用齐柏林飞艇在ApacheFlink中运行一个简单的任务。我已经创建了一个运行Zeppelin0.8.0的docker容器。在同一个容器中,我运行了apache flink 1.6.1。当我使用齐柏林飞艇默认的flink解释器运行作业时,效果很好,我可以看到作业的结果。但当我在独立模式下运行flink 1.6.1的解释器中执行此操作时,出现以下错误:
我的解释器配置:
在flink-conf.yaml中设置的属性
jobmanager.rpc.address: 0.0.0.0
jobmanager.rpc.port: 6134
jobmanager.heap.size: 1024m
taskmanager.heap.size: 1024m
taskmanager.numberOfTaskSlots: 1
parallelism.default: 1
我在flink日志中得到的错误(这意味着flink从齐柏林飞艇那里得到了工作):
2019-01-18 15:30:53,761 WARN
akka.remote.transport.netty.NettyTransport - Remote connection to
[/172.17.0.2:54842] failed with org.apache.flink.shaded.akka.org.jboss.netty.handler.codec.frame.TooLongFrameException: Adjusted frame length exceeds 10485760: 2147549189 - discarded
我知道akka的帧大小消息默认设置为10485760b,但是我收到的值2147549189太大了。我试着在flink-conf.yaml中修改这个属性akka.framesize:10485760b,但是我不能放这么大的尺寸,对我来说没有太多意义。
暂无答案!
目前还没有任何答案,快来回答吧!