write for spark的sql版本

ebdffaop 于 2021-05-18 发布在 Spark

关注(0)|答案(1)|浏览(484)

关闭。这个问题需要细节或清晰。它目前不接受答案。
**想改进这个问题吗？**通过编辑这个帖子来添加细节并澄清问题。

上个月关门了。
改进这个问题
我正在尝试在databricks上的sql笔记本中使用sql。我有一个表上的查询，我想把查询结果保存到s3。再说一遍，我只使用sql。我知道怎么用pyspark和scala来做。

1条答案

INSERT OVERWRITE DIRECTORY 's3a://bucket/folder'
USING parquet
SELECT * FROM test_table;

第一步：

CREATE targetTable (a string, b string) USING datasource LOCATION 's3a://bucket/folder' PARTITION BY (b)

第二步：
作为覆盖：

INSERT OVERWRITE targetTable PARTITION (b = test) 
SELECT a, b FROM sourceTable

作为附加：

INSERT INTO targetTable
SELECT a, b FROM sourceTable

参考文献：https://spark.apache.org/docs/3.0.0-preview/sql-ref-syntax-dml-insert.html