Google的GCP DataProc是否提供了Databricks Delta格式?
对于AWS和AZURE来说,很明显是这样的。然而,当仔细阅读,研究互联网时,我不确定情况是否如此。数据库文档也不太清楚。
我假设谷歌觉得他们的产品已经足够了。例如,谷歌云存储,它是可变的吗?这个https://docs.gcp.databricks.com/getting-started/overview.html提供的上下文太少了。
Google的GCP DataProc是否提供了Databricks Delta格式?
对于AWS和AZURE来说,很明显是这样的。然而,当仔细阅读,研究互联网时,我不确定情况是否如此。数据库文档也不太清楚。
我假设谷歌觉得他们的产品已经足够了。例如,谷歌云存储,它是可变的吗?这个https://docs.gcp.databricks.com/getting-started/overview.html提供的上下文太少了。
1条答案
按热度按时间kyks70gy1#
Delta Lake格式在Dataproc上得到支持。您可以简单地将其用作任何其他数据格式,如Parquet和ORC。以下是此article的示例。
使用
--properties="spark.jars.packages=io.delta:delta-core_2.12:1.1.0"
提交作业时,还需要添加依赖项。