在intellij中可视化结构化流式写入流输出

gdrx4gfi 于 2021-05-27 发布在 Spark

关注(0)|答案(2)|浏览(423)

我在intellij中有我的结构化流媒体scala应用程序。
以writestream（）形式获取结果后，使用：

val streamingDS = data
  .writeStream
  .format("json")
  .option("checkpointLocation", path)
  .option("path",path)
  .start()
  .awaitTermination()

如何使用 display() 这里描述的功能能力？https://docs.databricks.com/notebooks/visualizations/index.html#visualizations-在斯卡拉
display（）函数在intellij中似乎不可用。请帮忙。

scala apache-spark spark-structured-streaming data-visualization

来源：https://stackoverflow.com/questions/61743084/visualize-structured-streaming-writestream-output-in-intellij

2条答案

按热度按时间

jk9hmnmh1#

display 是databricks函数，仅在任何其他环境中使用spark时不可用。
但是，您可以使用 console sink 要调试流的输出，请参阅https://spark.apache.org/docs/latest/structured-streaming-programming-guide.html#starting-有关详细信息的流式查询。
你得把代码改成

data
  .writeStream
  .outputMode("complete")
  .format("console")
  .start()
  .awaitTermination()

赞(0）回复(0）举报 2021-05-27

6tdlim6h2#

热释光；博士 display -like功能在databricks这样的笔记本环境之外是不可用的。
最接近的是 console 格式化以将行打印到控制台。

val streamingDS = data
  .writeStream
  .format("console") // <-- use console
  .option("checkpointLocation", path)
  .option("path",path)
  .start()
  .awaitTermination()

赞(0）回复(0）举报 2021-05-27

我来回答

在intellij中可视化结构化流式写入流输出

2条答案

相关问题

热门标签

最新问答