有人尝试过使用apache flink中的dynamodb流吗？
Flink有一个动觉消费者。但我在寻找如何能直接消耗发电机流。
DataStream<String> kinesis = env.addSource(new FlinkKinesisConsumer<>(
"kinesis_stream_name", new SimpleStringSchema(), consumerConfig));我找了很多，但什么也没找到。然而，在flink jira董事会中发现了一个未决的请求。所以我猜这个选项还没有？我还有什么选择？
允许flinkkinesisconsumer适应aws dynamodb流
1条答案
按热度按时间erhoui1w1#
更新答案-2019
flinkkinesisconsumer连接器现在可以在实现这个jira票证之后处理dynamodb流。
更新的答案
apache flink似乎没有使用dynamodb流连接器适配器，因此它可以从kinesis读取数据，但不能从dynamodb读取数据。
我认为一个选择是实现一个应用程序，将dynamodb流中的数据写入kinesis，然后在apacheflink中从kinesis读取数据并进行处理。
另一个选择是为apacheflink实现定制dynamodb连接器。可以使用现有连接器作为起点。
您还可以查看apachespark kinesis连接器。但它似乎也有同样的问题。
原始答案
dynamodb有一个kinesis适配器，允许您使用kinesis客户机库使用dynamodb更新流。使用kinesis适配器是使用dynamodb更新的推荐方法（根据aws）。这将为您提供与直接使用dynamodb流（也称为dynamodb低级api）相同的数据。