我将使用ApacheHadoop做一个关于pagerank和维基百科数据集反向索引的项目。我下载了整个维基转储-http://download.wikimedia.org/enwiki/latest/enwiki-latest-pages-articles.xml.bz2 。它将解压缩为一个42 gb的.xml文件。我想以某种方式处理这个文件，得到适合pagerank和反向索引map reduce算法输入的数据。请帮帮我！任何线索都会有帮助。
qaxu7uf21#
您需要编写自己的inputformat来处理xml。您还需要实现一个recordreader，以确保InputSplit具有完整格式的xml块，而不仅仅是一行。看到了吗http://www.undercloud.org/?p=408 .
bpsygsoo2#
你的问题我不太清楚。你需要什么样的主意？首先要做的是如何在mr作业中处理这个xml文件。mr框架没有为xml文件提供任何内置的inputformat。对于这个你可能想看看这个。
2条答案
按热度按时间qaxu7uf21#
您需要编写自己的inputformat来处理xml。您还需要实现一个recordreader，以确保InputSplit具有完整格式的xml块，而不仅仅是一行。看到了吗http://www.undercloud.org/?p=408 .
bpsygsoo2#
你的问题我不太清楚。你需要什么样的主意？
首先要做的是如何在mr作业中处理这个xml文件。mr框架没有为xml文件提供任何内置的inputformat。对于这个你可能想看看这个。