我正在实现一个sourcefunction,它从数据库中读取数据。如果停止或压碎(即保存点和检查点),作业应该能够恢复,数据只处理一次。
到目前为止我所拥有的:
@SerialVersionUID(1L)
class JDBCSource(private val waitTimeMs: Long) extends
RichParallelSourceFunction[Event] with StoppableFunction with LazyLogging{
@transient var client: PostGreClient = _
@volatile var isRunning: Boolean = true
val DEFAULT_WAIT_TIME_MS = 1000
def this(clientConfig: Serializable) =
this(clientConfig, DEFAULT_WAIT_TIME_MS)
override def stop(): Unit = {
this.isRunning = false
}
override def open(parameters: Configuration): Unit = {
super.open(parameters)
client = new JDBCClient
}
override def run(ctx: SourceFunction.SourceContext[Event]): Unit = {
while (isRunning){
val statement = client.getConnection.createStatement()
val resultSet = statement.executeQuery("SELECT name, timestamp FROM MYTABLE")
while (resultSet.next()) {
val event: String = resultSet.getString("name")
val timestamp: Long = resultSet.getLong("timestamp")
ctx.collectWithTimestamp(new Event(name, timestamp), timestamp)
}
}
}
override def cancel(): Unit = {
isRunning = false
}
}
如何确保只获取数据库中尚未处理的行?我以为 ctx
变量将包含一些有关当前水印的信息,以便我可以将查询更改为以下内容:
select name, timestamp from myTable where timestamp > ctx.getCurrentWaterMark
但对我来说没有任何相关的方法。任何解决这个问题的办法都将不胜感激
1条答案
按热度按时间yx2lnoni1#
您必须实现checkpointedfunction,以便自己管理检查点。这个接口的文档非常全面,但是如果你需要一个例子,我建议你看一个例子。
本质上,你的功能必须实现
CheckpointedFunction#snapshotState
要存储所需的状态,请使用flink的托管状态,然后在执行还原时,它将在中读取相同的状态CheckpointedFunction#initializeState
.