插入覆盖查询中配置单元中的skiptrash

amrnrhlw  于 2021-06-28  发布在  Hive
关注(0)|答案(1)|浏览(375)

我在配置单元中插入覆盖查询,在执行查询后,数据被转储到垃圾箱文件夹中。
是否有任何选择或财产可以避免它?

fquxozlt

fquxozlt1#

在hive 1.2.0中,拖放操作有一个清除选项:https://issues.apache.org/jira/browse/hive-9118 以及https://issues.apache.org/jira/browse/hive-7100
不幸的是,对于外部表和 insert overwrite 声明。
但仍然可以在插入覆盖之前删除文件,我知道这并非总是可以接受的解决方案,使用 rm 命令 -skipTrash 选项:

hadoop fs -rm -r -f -skipTrash  hdfs://your_table_path/*

如果您使用的是dev环境,则可能需要禁用垃圾箱功能。这可以通过设置 fs.trash.interval=0 在core-site.xml中

相关问题