我的hdfs上有两个parquet目录，具有相同的模式。我想将这两个目录合并到一个parquet目录中，以便能够从中创建一个外部配置单元表。我在google上搜索了我的问题，但几乎所有的结果都是关于将小Parquet文件合并成大Parquet文件。
bejyjqdl1#
只要Parquet文件具有相同的模式，就可以简单地将它们放在相同的目录中。hive将处理它在外部表目录中找到的所有文件（除了一些具有特定名称的特殊文件），因此您只需将数据放在那里，hive就会找到它(在较旧的配置单元版本中，非外部表也是如此。但是，在较新的配置单元版本中，这仅适用于外部表，因此不应篡改所谓托管表的内容。）
1条答案
按热度按时间bejyjqdl1#
只要Parquet文件具有相同的模式，就可以简单地将它们放在相同的目录中。hive将处理它在外部表目录中找到的所有文件（除了一些具有特定名称的特殊文件），因此您只需将数据放在那里，hive就会找到它(在较旧的配置单元版本中，非外部表也是如此。但是，在较新的配置单元版本中，这仅适用于外部表，因此不应篡改所谓托管表的内容。）