我有mysql转储文件,如何用impala将它们转换成Parquet文件格式?我知道我可以从csv创建Parquet文件,但我想直接创建Parquet文件没有这个双重步骤。
kt06eoxx1#
我通常使用两个步骤的过程,但我相信有更好的方法。我们使用这种方式保持Parquet桌在线,以便在更新过程中有尽可能多的不间断服务。
sqoop import --table <mysql_table> --hive-import --hive-table <hive_text_table> impala-shell -i <impala_ip_addr> -q 'use <db>; INVALIDATE METADATA <hive_text_table>; CREATE TABLE <parquet_table> LIKE <hive_text_table> STORED AS PARQUET; INSERT OVERWRITE <parquet_table> SELECT * FROM <hive_text_table>;'
有点啰嗦,但以防万一你得不到其他答案。
1条答案
按热度按时间kt06eoxx1#
我通常使用两个步骤的过程,但我相信有更好的方法。我们使用这种方式保持Parquet桌在线,以便在更新过程中有尽可能多的不间断服务。
有点啰嗦,但以防万一你得不到其他答案。