hadoopmapreduce如何从csv文件获取数据输入?

vatpfxk5  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(661)

我想实现hadoopmapreduce,并使用csv文件作为输入。所以,我想问,hadoop提供了什么方法来获取csv文件的值,或者我们只是用java的split string函数来实现?
谢谢大家。。。。。

qni6mghb

qni6mghb1#

默认情况下,hadoop使用文本输入读取器,从输入文件逐行向Map器提供信息。Map器中的关键是读取的行数。但是要小心csv文件,因为单个列/字段可能包含换行符。您可能需要寻找如下csv输入读取器:
https://github.com/mvallebr/csvinputformat/blob/master/src/main/java/org/apache/hadoop/mapreduce/lib/input/csvnlineinputformat.java
但是,您必须在代码中拆分行。

相关问题