我想实现这样的目标：
df.writeStream
.saveAsTable("dbname.tablename")
.format("parquet")
.option("path", "/user/hive/warehouse/abc/")
.option("checkpointLocation", "/checkpoint_path")
.outputMode("append")
.start()我愿意接受建议。我知道Kafka连接可能是一个选择，但如何实现这一点使用Spark。一个可能的解决办法可能是我所寻找的。提前谢谢！！
1条答案
按热度按时间omjgkv6w1#
spark structured streaming不支持将流查询的结果直接写入配置单元表。必须写入路径。
因为2.4他们说每批都要试，但我没有试过。