flink cep有文件没有流?

u91tlkcl  于 2021-06-25  发布在  Flink
关注(0)|答案(1)|浏览(306)

我尝试将flink的cep用于日志文件(作为批处理作业),但不用于流(作为实时作业)。有可能吗?如果是的话,你知道关于这个的scala代码吗?

nkoocmlb

nkoocmlb1#

flink的数据流api和相关的库,包括cep库,可以用于有界的历史(批处理)数据集,也可以用于无界的实时流——这没有什么区别。只需设置一个文件(或目录)作为数据源,并正常使用cep。为了获得正确的、可再现的结果,您应该在事件时间中工作(假设时间在您的处理过程中起作用)。这一点很重要,因为cep希望根据事件时间对输入流进行排序——前后的概念应该与事件发生的时间有关,而不是与处理事件的时间有关。
一点谷歌搜索会让你找到一些cep的例子。flink training(github)中有一个简单的例子(java和scala)。

相关问题