flink emr程序失败

xesrikrc  于 2021-06-25  发布在  Flink
关注(0)|答案(0)|浏览(208)

我有一个相当简单的flink程序。源于一个kafka流,应用过滤器,应用进程函数,应用平面图,并发送到redis接收器。在我的dev box上的独立环境中本地运行这个程序,没有问题。我正试图把这个推到生产的aws电子病历,我按照指南运行的flink程序的电子病历。第一次考试后,我有一个 GC overhead limit exceeded 错误,因此我进行了调整以减少存储的数据量。我的下一次尝试程序运行了很长时间,但最终失败了,没有像以前那样给出任何错误类型的指示。
我不确定如何去调试的问题,我怀疑可能是一个副作用运行的电子病历。据我所知,emr控制台中的大多数监控指标都是无用的。如果有关系的话,我运行这个程序是作为emr的一个步骤,我遵循的指南在这里 http://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-flink.html . 这个程序也被认为是一个永远向上的解决方案,基本上它将不断地从Kafka流读取和处理数据(如果这有任何关系,不确定是否有一个不同的配置,我应该使用一个永远向上的解决方案)
我很乐意提供任何必要的信息,以帮助我把这个投入生产。
谢谢您

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题