使用带有kafka的spring云数据流来流csv文件

mlmc2os5  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(358)

我正在尝试用springclouddataflow和kafka来传输csv文件。其思想是逐行流式传输文件,每行包含头文件。例如,如果我的csv文件的内容是

street,city,zip,state
3526 HIGH ST,SACRAMENTO,95838,CA
51 OMAHA CT,SACRAMENTO,95823,CA
2796 BRANCH ST,SACRAMENTO,95815,CA

然后,流数据应采用以下格式(所需输出)

street,city,zip,state
3526 HIGH ST,SACRAMENTO,95838,CA

street,city,zip,state
51 OMAHA CT,SACRAMENTO,95823,CA

street,city,zip,state
2796 BRANCH ST,SACRAMENTO,95815,CA

我使用filesplitter将消息传递到输出通道。

private Source channels;

FileSplitter splitter = new FileSplitter(true, true);
splitter.setOutputChannel(channels.output());
splitter.handleMessage(new GenericMessage<File>(file));

我当前得到的输出是

Sink :    street,city,zip,state
Sink :    3526 HIGH ST,SACRAMENTO,95838,CA
Sink :    51 OMAHA CT,SACRAMENTO,95823,CA
Sink :    2796 BRANCH ST,SACRAMENTO,95815,CA
snvhrwxg

snvhrwxg1#

在拆分器之后添加一个过滤器以删除第一行。
在过滤器之后添加一个转换器,将有效负载转换为

"street,city,zip,state\n" + payload

相关问题