我在unix中几乎没有.avro文件。如何查找文件是否已损坏？
我正在尝试从中插入avro数据 tableA 至 tableB 使用配置单元使用insert语句。我得到了一个错误。我假设某个特定的avro文件已损坏。
Error:
Vertex failed, vertexName=Map 1, vertexId=vertex_1523309222013_3304_3_00, diagnostics=[Task failed, taskId=task_1523309222013_3304_3_00_000001, diagnostics=[TaskAttempt 0 failed, info=[Error: Failure while running task:java.lang.RuntimeException: java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row <json rows>
1条答案
按热度按时间rjzwgtxy1#
您可以使用avro数据文件修复工具来清除坏的avro。有一种报告错误的模式。该工具在avro的1.8.x版本中提供。