hive在sqoop数据之后抛出错误

n53p2ov0  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(366)

我想以Parquet格式将数据从数据库导入hdfs,然后填充配置单元表。我不能用 sqoop import --hive-import 因为sqoop从 --target-dir 到配置单元元存储目录。
所以,我不得不创建Hive模式 sqoop create-hive-table ,将配置单元表转换为Parquet地板 SET FILEFORMAT parquet ,将配置单元表的位置更改为指向hdfs中合适的文件,最后使用 sqoop import --as-parquet-file 我在配置单元中遇到一个问题:由于以下错误,我无法预览表的数据:

Failed with exception java.io.IOException:org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.UnsupportedOperationException: Cannot inspect org.apache.hadoop.io.LongWritable

1) 我怎样才能解决这个问题?
2) 有更好的解决方案来完成这个用例吗?

kq0g1dla

kq0g1dla1#

你的Hive版本是什么?如果你的版本是1.0.0,那就是一个bug。请点击此链接
此错误已在Hive1.2.0版本中修复

相关问题