是否有一些好的开源连接器可以实现从XDB到flink的数据传输

iqjalb3h  于 2021-06-24  发布在  Flink
关注(0)|答案(3)|浏览(369)

我的团队在构建自己的时态数据库系统时遇到了一些问题。在每一个开始,我们都试图了解influxdb和flink之间的数据传输过程。我们的基本思想是:flink从influxdb读取数据,flink使用这些数据基于flink的ml库进行建模(如图中红色圆圈所示)。但是,我们只找到一些提供接收器的开源存储库,这些接收器可以从flink向influxdb发送数据(例如flinkinfluxdb connector)。因此,如果你知道一些像我描述的好例子,请告诉我。谢谢。

to94eoyn

to94eoyn1#

你可以自己建Flume,很简单。实现您的函数并使用XDB库
您可以在这里看到richsinkfunction的示例

brccelvz

brccelvz2#

如果您的目标是从influxdb流式传输数据,我会看看kapacitor。据我所知,xdb没有当前的源函数。另外,坦率地说,xdb不太可能服务于驱动您使用flink这样的分布式处理系统的数据量,因为它针对针对特定数据的高速写入和快速查询进行了优化。

snvhrwxg

snvhrwxg3#

我不相信有人为XDB实现了flink源代码连接器。但是xdb有一个订阅的概念,这可能会有帮助。

相关问题