Apache Spark 使用读取时合并时,如何指定相等删除和位置删除?

wz3gfoph  于 2022-11-16  发布在  Apache
关注(0)|答案(1)|浏览(108)

冰山文档讨论了在删除数据时使用读取时合并。文档还提到了位置删除和相等删除。在表属性中指定读取时合并似乎是直截了当的。
我浏览了冰山文档,也发现了六个外部站点,它们讨论了每种方法的优点和缺点,但是没有一个描述了如何指定位置与相等。这是一个表属性吗?我如何选择方法?
我在EMR上使用Spark 3.3和scala/python

sbtkgmzw

sbtkgmzw1#

不需要指定POS删除或EQ删除,这两种删除方式是引擎根据不同场景自动选择的。
为了更好地使用冰山,您可能需要注意以下几点:

  • 使用读取时合并或写入时修改
  • 按指定策略合并文件
  • 过期快照和数据删除

希望对你有帮助。

相关问题