如何忽略配置单元中的顶点失败错误

fnx2tebb  于 2021-06-26  发布在  Hive
关注(0)|答案(1)|浏览(266)

“我一直在” vertex failed “从配置单元表(其中包含json数据)插入时出错。我假设表中的数据可能已损坏。如果发生错误,我想忽略它。在Hive里我怎么能忽略呢?

e0bqpujr

e0bqpujr1#

我个人在使用tez引擎时遇到过这个问题,特别是在处理大量数据时,在使用聚合的同时(最有可能使用distinct)。
当我通过将执行引擎更改为mr来重新运行同一个查询时,它对我起了作用

SET hive. execution.engine=MR;

如果您在查询中的任何地方使用distinct,只需选中删除它,然后检查是否有帮助。
谢谢

相关问题