我有一些由spark job制作的兽人档案。有什么简单的方法可以直接从这些文件创建外部表吗?
kwvwclae1#
我这样做的方法是首先在spark作业本身中注册一个temp表,然后利用hivecontext的sql方法在hive中使用temp表中的数据创建一个新表。例如,如果我有一个dataframe df和hivecontext hc,一般过程是:
df.registerTempTable("my_temp_table") hc.sql("CREATE TABLE new_table_name STORED AS ORC AS SELECT * from my_temp_table")
1条答案
按热度按时间kwvwclae1#
我这样做的方法是首先在spark作业本身中注册一个temp表,然后利用hivecontext的sql方法在hive中使用temp表中的数据创建一个新表。例如,如果我有一个dataframe df和hivecontext hc,一般过程是: