我想以Parquet格式将数据从数据库导入hdfs,然后填充配置单元表。我不能用 sqoop import --hive-import
因为sqoop从 --target-dir
到配置单元元存储目录。
所以,我不得不创建Hive模式 sqoop create-hive-table
,将配置单元表转换为Parquet地板 SET FILEFORMAT parquet
,将配置单元表的位置更改为指向hdfs中合适的文件,最后使用 sqoop import --as-parquet-file
我在配置单元中遇到一个问题:由于以下错误,我无法预览表的数据:
Failed with exception java.io.IOException:org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.UnsupportedOperationException: Cannot inspect org.apache.hadoop.io.LongWritable
1) 我怎样才能解决这个问题?
2) 有更好的解决方案来完成这个用例吗?
1条答案
按热度按时间kq0g1dla1#
你的Hive版本是什么?如果你的版本是1.0.0,那就是一个bug。请点击此链接
此错误已在Hive1.2.0版本中修复