flink:如何用键/值存储转换数据流?

xt0899hw  于 2021-07-15  发布在  Flink
关注(0)|答案(0)|浏览(257)

我想使用flink连续地从输入kafka主题接收消息,对于每条消息,从消息中获取一个键字段,在键/值存储中进行查找,创建一个具有该值的消息的修改版本,并将结果消息输出到不同的kafka主题。这是相当标准的流处理功能。
密钥/值存储的实现仍在决定之中,可以通过redis、aerospeke、sql数据库、kafka主题或其他方式来实现。
在Flink我该怎么做?我使用datastreamapi来读/写kafka主题。如何进行键/值查找?我会使用表api吗?数据流api?
在其他工具集中,这将被视为流到表的连接?Flink认为这是一种结合吗?flink文档提到了连接,这个用例将是一个“常规连接”。我需要使用flinksql吗?我可以使用flinkapi来执行这种类型的流到表的连接吗?
我浏览了官方示例repo中的文档和官方代码示例,但没有看到这个特定的用例。
https://github.com/apache/flink/tree/master/flink-examples
是否有这种功能的简单代码示例?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题