我一直在使用mapreduce解析日志文件，但它总是输出一个名为“part-00000”的文本文件来存储我的结果，然后我必须导入 part--00000 手动输入mysql。
有没有一种简单的方法可以直接在mysql中存储mapreduce结果？例如，如何在mysql中直接存储经典的“word count”mapreduce程序的结果？
我使用的是hadoop1.2.1 mapred 图书馆（即。 org.apache.hadoop.mapred.* 而不是 org.apache.hadoop.mapreduce.* ，据我所知，两者不兼容。）我没有访问sqoop的权限。
1条答案
按热度按时间wgmfuz8q1#
通过使用dboutputformat，我们可以将mapreduce输出写入直接数据库。
下面是一些例子，请看一下。
我个人建议使用sqoop进行数据导入（从db到hdfs）和导出（从hdfs到db）。