greenplum spark结构化流媒体

演示如何使用jdbc将writeStreamAPI与gpdb一起使用
下面的代码块使用速率流源读取数据，并使用基于jdbc的接收器将数据分批流到gpdb

基于批处理的流媒体

import org.apache.spark.sql.streaming._
import org.apache.spark.sql.streaming.Trigger
import org.apache.spark.streaming.Seconds
import org.apache.spark.streaming.StreamingContext

import scala.concurrent.duration._

val sq = spark.
  readStream.
  format("rate").
  load.
  writeStream.
  format("myjdbc").
  option("checkpointLocation", "/tmp/jdbc-checkpoint").
  trigger(Trigger.ProcessingTime(10.seconds)).
  start

基于记录的流媒体

这要用到作者

import org.apache.spark.sql.streaming._
import org.apache.spark.sql.streaming.Trigger
import org.apache.spark.streaming.Seconds
import org.apache.spark.streaming.StreamingContext

import scala.concurrent.duration._

val url="jdbc:postgresql://gsc-dev:5432/gpadmin"
val user ="gpadmin"
val pwd = "changeme"
val jdbcWriter = new JDBCSink(url,user, pwd)

val sq = spark.
  readStream.
  format("rate").
  load.
  writeStream.
  format(jdbcWriter).
  option("checkpointLocation", "/tmp/jdbc-checkpoint").
  trigger(Trigger.ProcessingTime(10.seconds)).
  start

您使用的是什么版本的gpdb/spark？你可以绕过Spark而选择绿色李子Kafka连接器。
https://gpdb.docs.pivotal.io/5170/greenplum-kafka/overview.html
在早期版本中，greenplum spark连接器公开了一个名为io.pivotal.greenplum.spark.greenplumrelationprovider的spark数据源，以将greenplum数据库中的数据读取到sparkDataframe中。
在以后的版本中，连接器公开了一个名为greenplum的spark数据源，用于在spark和greenplum数据库之间传输数据。
应该是这样的--
val eventoutputstream=stateeventds.write.format（“greenplum”）.options（gscwriteoptionmap）.save（）
请参见：https://greenplum-spark.docs.pivotal.io/160/write_to_gpdb.html