我试过一些简单的 MemoryStream
azure databricks中的示例:
val input = MemoryStream[T]
...
input.addData(...)
input.toDS()
.writeStream
.queryName("events")
.outputMode("update") // or complete
.format("console") // or memory
.start()
spark structured streaming memorystream+行+编码器问题
spark结构化流媒体是否可以进行适当的事件时间会话?
然而,当我运行它们时
由于阶段失败,作业已中止:。。。java.io.invalidclassexception:org.apache.spark.sql.execution.streaming.memorystream;没有有效的构造函数
有什么办法可以做吗?memorystream在使用真实数据集之前做一些测试似乎非常有用。上面的代码在我的本地集群中似乎运行良好 Spark-shell
但理想情况下,我不想在本地和databricks集群之间来回测试。
暂无答案!
目前还没有任何答案,快来回答吧!