单元测试自定义输入和输出格式

6za6bjd0 于 2021-06-02 发布在 Hadoop

关注(0)|答案(1)|浏览(331)

我一直在试图弄清楚是否可以为自定义输入和输出格式实现开发单元测试。我找到了mrunit的例子：https://cwiki.apache.org/confluence/display/mrunit/mrunit+tutorial. 看起来mrunit只适合测试mapper和reducer。我还看到了这篇文章：如何对自定义recordreader和inputformat类进行单元测试？。但是看起来这个特殊的例子依赖于hdfs路径？
理想情况下，我需要的是能够从ide环境（eclipse）测试定制的输入和输出格式实现作为junit测试用例。没有可用的单/多节点群集设置。在这种情况下如何进行单元测试？

Java hadoop eclipse unit-testing

来源：https://stackoverflow.com/questions/29992069/unit-testing-custom-input-and-output-format

1条答案

按热度按时间

ijxebb2r1#

您几乎可以完成线程中指定的相同操作：如何对自定义recordreader和inputformat类进行单元测试？
以下设置实际上使hdfs代码以本地伪模式运行：

conf.set("fs.default.name", "file:///");

赞(0）回复(0）举报 2021-06-02

我来回答

单元测试自定义输入和输出格式

1条答案

相关问题

热门标签

最新问答