azure databricks memorystream支持

cqoc49vn  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(332)

我试过一些简单的 MemoryStream azure databricks中的示例:

val input = MemoryStream[T]
...
input.addData(...)

    input.toDS()
      .writeStream
      .queryName("events")
      .outputMode("update") // or complete
      .format("console") // or memory
      .start()

spark structured streaming memorystream+行+编码器问题
spark结构化流媒体是否可以进行适当的事件时间会话?
然而,当我运行它们时
由于阶段失败,作业已中止:。。。java.io.invalidclassexception:org.apache.spark.sql.execution.streaming.memorystream;没有有效的构造函数
有什么办法可以做吗?memorystream在使用真实数据集之前做一些测试似乎非常有用。上面的代码在我的本地集群中似乎运行良好 Spark-shell 但理想情况下,我不想在本地和databricks集群之间来回测试。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题