hadoop—重复创建和删除配置单元表的影响

b4lqfgs4  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(290)

我有一个用例,需要大约200HiveParquet表。我需要从平面文本文件加载这些Parquet地板表。但是我们不能直接从平面文本文件加载Parquet表。所以我采用以下方法
创建了临时托管文本表。
已加载包含文本数据的临时表。
创建外部Parquet地板表。
使用select查询将Parquet地板表与文本表一起加载。
已删除临时文本表的文本文件(但将表保留在元存储中)。
因为这种方法是在metastore中保留临时元数据(用于200个表)。所以我有第二种方法,我将删除临时文本表以及hdfs中的文本文件。下一次重新创建临时表,并在创建Parquet地板后删除。
现在,由于我需要每2小时为所有200个表执行上述步骤,所以从metastore中创建和删除表是否会影响生产期间集群中的任何内容?
哪种方法会影响生产,在元存储中保留临时元数据,从配置单元元存储中创建和删除表(元数据)?

vuktfyat

vuktfyat1#

哪种方法会影响生产,在元存储中保留临时元数据,从配置单元元存储中创建和删除表(元数据)?
不,没有影响,hivemetastore的后端应该能够轻松处理每小时200*n的更改。如果不确定,从50个表开始监视后端数据库性能。

相关问题