我在配置单元中插入覆盖查询,在执行查询后,数据被转储到垃圾箱文件夹中。是否有任何选择或财产可以避免它?
fquxozlt1#
在hive 1.2.0中,拖放操作有一个清除选项:https://issues.apache.org/jira/browse/hive-9118 以及https://issues.apache.org/jira/browse/hive-7100不幸的是,对于外部表和 insert overwrite 声明。但仍然可以在插入覆盖之前删除文件,我知道这并非总是可以接受的解决方案,使用 rm 命令 -skipTrash 选项:
insert overwrite
rm
-skipTrash
hadoop fs -rm -r -f -skipTrash hdfs://your_table_path/*
如果您使用的是dev环境,则可能需要禁用垃圾箱功能。这可以通过设置 fs.trash.interval=0 在core-site.xml中
fs.trash.interval=0
1条答案
按热度按时间fquxozlt1#
在hive 1.2.0中,拖放操作有一个清除选项:https://issues.apache.org/jira/browse/hive-9118 以及https://issues.apache.org/jira/browse/hive-7100
不幸的是,对于外部表和
insert overwrite
声明。但仍然可以在插入覆盖之前删除文件,我知道这并非总是可以接受的解决方案,使用
rm
命令-skipTrash
选项:如果您使用的是dev环境,则可能需要禁用垃圾箱功能。这可以通过设置
fs.trash.interval=0
在core-site.xml中