如何将配置单元中的文件分区并折叠成一个大文件?

y4ekin9u  于 2021-05-27  发布在  Hadoop
关注(0)|答案(1)|浏览(455)

我正在为大数据处理的azurehdinsight集群工作。几天前,我在hive中通过合并许多文件创建了一个分区和带扣的表。
由于azure没有提供任何停止集群的选项,因此我不得不删除集群以节省成本。数据独立存储在azure存储帐户中。当我使用相同的存储帐户创建新集群时,我可以使用hdfs命令查看数据库和表,但是hive无法读取该数据库或表,可能hive没有关于该数据库或表的元数据。
我剩下的唯一选择是将所有分区和嵌套的文件合并到一个文件中,然后再次创建表。那么,有没有什么方法可以将该表迁移到另一个数据库或将其合并以便更容易迁移??

q43xntqr

q43xntqr1#

您可以创建 EXTERNAL TABLE (具有与以前相同的属性)指向 HDFS location . 既然你提到它有分区,你可以运行 MSCK REPAIR TABLE table-name 这样您也可以看到分区。
希望这有帮助

相关问题