我在Flink做实时流媒体分析。我正在读Kafka的留言,并对其进行处理。处理后,我将结果写入一个.csv文件使用 WritetoCsv()
数据流方法。我正在处理390万条消息,这些消息会导致48232行最终结果,我正在将这些结果写入一个.csv文件中。
当我写入.csv时,有些行没有写入或部分写入文件,但是当我在eclipse控制台上打印相同的数据时,我得到了所有打印结果的行。我使用eclipse本地环境运行这个flink程序。
在使用将结果转储到.csv文件时丢失行的原因是什么 WritetoCsv()
.
eclipse java堆大小=2gb。
暂无答案!
目前还没有任何答案,快来回答吧!