我看到apache pig的load函数有一个名为ignorebadfiles的标记。我想知道是否有人能给我举一个如何使用它的例子。以下是jira门票的链接：https://issues.apache.org/jira/browse/pig-3404 它讨论了这个标签的用例，但是没有一个例子。例如：
LOAD '$inpath' USING AvroStorage();如果有人能告诉我如何在load函数中使用这个标签，那就太好了。非常感谢你的帮助！
我看到apache pig的load函数有一个名为ignorebadfiles的标记。我想知道是否有人能给我举一个如何使用它的例子。以下是jira门票的链接：https://issues.apache.org/jira/browse/pig-3404 它讨论了这个标签的用例，但是没有一个例子。例如：
LOAD '$inpath' USING AvroStorage();如果有人能告诉我如何在load函数中使用这个标签，那就太好了。非常感谢你的帮助！
1条答案
按热度按时间6kkfgxo01#
除了让avrostorage（'ignore\u bad\u files'）正常工作之外，您可能还需要查看设置mapreduce.map.failures.maxpercent。这将通过允许作业在某些Map器（读取器）失败的情况下继续而得到类似的结果。