flink:使用datasink`writetocsv()编写时丢失行`

dphi5xsq  于 2021-06-25  发布在  Flink
关注(0)|答案(0)|浏览(224)

我在Flink做实时流媒体分析。我正在读Kafka的留言,并对其进行处理。处理后,我将结果写入一个.csv文件使用 WritetoCsv() 数据流方法。我正在处理390万条消息,这些消息会导致48232行最终结果,我正在将这些结果写入一个.csv文件中。
当我写入.csv时,有些行没有写入或部分写入文件,但是当我在eclipse控制台上打印相同的数据时,我得到了所有打印结果的行。我使用eclipse本地环境运行这个flink程序。
在使用将结果转储到.csv文件时丢失行的原因是什么 WritetoCsv() .
eclipse java堆大小=2gb。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题