ApacheDrill有一个很好的特性，可以从许多传入的数据集生成Parquet文件，但是似乎没有太多关于以后如何使用这些Parquet文件的信息—特别是在hive中。有没有一种方法让Hive使用那些“1\u 0\u 0.parquet”等文件？可能创建一个表并从Parquet文件加载数据，或者创建一个表并以某种方式将这些Parquet文件放在hdfs中，以便hive读取它？
8yoxcaq71#
我遇到过这个问题，如果您使用的是cloudera发行版，那么可以使用impala（impala和hive共享metastore）创建表，它允许从parquet文件创建表。不幸的是，Hive不允许这样
CREATE EXTERNAL TABLE table_from_fileLIKE PARQUET '/user/etl/destination/datafile1.parquet' STORED AS PARQUET LOCATION '/user/test/destination';
1条答案
按热度按时间8yoxcaq71#
我遇到过这个问题，如果您使用的是cloudera发行版，那么可以使用impala（impala和hive共享metastore）创建表，它允许从parquet文件创建表。不幸的是，Hive不允许这样