我使用的示例文件在每行末尾都有^m,而我正在尝试将该文件作为rdd读取,并尝试使用saveastextfile方法打印内容。将从每行中删除^m字符。有人知道如何解决这个问题吗。我使用的代码片段如下所述。
val source_path = args(0) + File.separator
val inputFileName = args(1)
val outputFileName = args(2)
val copyFileName = args(3)
val source_rdd = sc.textFile(source_path + inputFileName)
source_rdd.coalesce(1).saveAsTextFile(source_path)
val part_file_name = fs.globStatus(new Path(source_path +
"part*"))(0).getPath.getName
fs.rename(new Path(source_path + part_file_name), new
Path(source_path + outputFileName))
暂无答案!
目前还没有任何答案,快来回答吧!