我试图通过执行“排序桶合并”来优化配置单元中的合并。据我所知,这两个表都需要按相同的列进行分组,并按相同的桶数进行排序。当我尝试更新已排序的带扣表时,收到以下错误:
FAILED: SemanticException [Error 10298]: ACID insert, update, delete not supported on tables that are sorted
我正在使用以下配置:
'hive.support.concurrency': True,
'hive.enforce.bucketing': True,
'hive.enforce.sorting': True,
'hive.exec.dynamic.partition.mode': 'nonstrict',
'hive.txn.manager': 'org.apache.hadoop.hive.ql.lockmgr.DbTxnManager',
'hive.compactor.initiator.on': True,
'hive.compactor.worker.threads': 1,
'hive.exec.max.dynamic.partitions': 1000,
'hive.exec.max.dynamic.partitions.pernode': 1000
我用的是Hive版本 Hive 2.3.6-amzn-1
来自亚马逊。
暂无答案!
目前还没有任何答案,快来回答吧!