pairdd,将多行值转换为一行值

14ifxucb  于 2021-05-27  发布在  Spark
关注(0)|答案(1)|浏览(436)

我读了几个文件使用wholetextfiles,但我想把所有的文本行成一行,我使用的是reduce或reducebykey,也许我只是做错了。
这是对的

Key          Text
|\test1.log  |line text1
|            |line text2
|            |line text3
|\test2.log  |line text1
|            |line text2

我想做到这一点:

Key          Text
|\test1.log  |line text1 line text2 line text3
|\test2.log  |line text1 line text2

我希望说清楚。
事先谢谢你的帮助。

wkftcu5l

wkftcu5l1#

我最近做到了这一点:

sc.wholeTextFiles("C:\*.log").map({case (name, contents) =>
      (name, contents.replaceAll("[\r\n]", " ")

相关问题