从配置单元管理的表中删除数据(分区和存储桶)

ffscu2ro  于 2022-09-27  发布在  Hive
关注(0)|答案(1)|浏览(139)

我们有一个hive管理的表(它既有分区表,也有bucketed表,并且transaction='true')。我们正在使用Spark(2.4版)与这个配置单元表交互。
我们可以使用以下方法成功地将数据摄取到此表中:;
sparkSession(Spark会话)。sql(“插入表值(''))
但我们无法从此表中删除一行。我们正在尝试使用以下命令删除;
sparkSession(Spark会话)。sql(“从表中删除,其中col1=''和col2='')
我们正在获取operationNotAccepted异常。
我们需要做一些具体的事情来执行这个动作吗?
谢谢
阿努吉

ruarlubt

ruarlubt1#

除非DELTA表格,否则这是不可能的。
ORC不支持删除配置单元bucketed表。参见https://github.com/qubole/spark-acid
AWS上的HUDI也是一个选项。

相关问题