我对flink cep库还是个新手,但我不了解模式检测行为。考虑到下面的例子,我有一个flink应用程序,它使用来自kafka主题的数据,数据是周期性产生的,我想使用flink cep模式来检测值何时大于给定的阈值。代码如下:
public class CEPJob{
public static void main(String[] args) throws Exception {
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
Properties properties = new Properties();
properties.setProperty("bootstrap.servers", "localhost:9092");
properties.setProperty("group.id", "test");
FlinkKafkaConsumer<String> consumer = new FlinkKafkaConsumer<String>("test", new SimpleStringSchema(),
properties);
consumer.assignTimestampsAndWatermarks(WatermarkStrategy.forMonotonousTimestamps());
DataStream<String> stream = env.addSource(consumer);
// Process incoming data.
DataStream<Stock> inputEventStream = stream.map(new MapFunction<String, Stock>() {
private static final long serialVersionUID = -491668877013085114L;
@Override
public Stock map(String value) {
String[] data = value.split(":");
System.out.println("Date: " + data[0] + ", Adj Close: " + data[1]);
Stock stock = new Stock(data[0], Double.parseDouble(data[1]));
return stock;
}
});
// Create the pattern
Pattern<Stock, ?> myPattern = Pattern.<Stock>begin("first").where(new SimpleCondition<Stock>() {
private static final long serialVersionUID = -6301755149429716724L;
@Override
public boolean filter(Stock value) throws Exception {
return (value.getAdj_Close() > 140.0);
}
});
// Create a pattern stream from our warning pattern
PatternStream<Stock> myPatternStream = CEP.pattern(inputEventStream, myPattern);
// Generate alert for each matched pattern
DataStream<Stock> warnings = myPatternStream .select((Map<String, List<Stock>> pattern) -> {
Stock first = pattern.get("first").get(0);
return first;
});
warnings.print();
env.execute("CEP job");
}
}
当我运行作业时会发生什么,模式检测不是实时发生的,它只在生成第二条记录后才输出当前记录的检测到的模式的警告,看起来它延迟打印到日志警告,我真的不知道如何让它在检测到模式时输出警告,而不等待下一个记录,谢谢:)。
来自Kafka的数据是字符串格式的:“date:value,它每5秒产生一次数据。
java版本:1.8,scala版本:2.11.12,flink版本:1.12.2,kafka版本:2.3.0
1条答案
按热度按时间balp4ylt1#
我发现的解决方案是,每次向kafka主题生成一个值时,在kafka主题中发送一个假记录(例如null对象),在flink端(在模式声明中),我测试接收到的记录是否是假的。flinkcep似乎总是在输出警告之前等待即将到来的事件。