当我需要将维度表加载到Kafka时，我有一个位置。因为我想通过kafka公开我的所有应用程序数据，这是公司所有部门/产品的常见方式。
但我的维度只有snaphsot是正确的，不可能以增量模式处理它们。因为kafka流我添加了“batch\u id”（加载操作的时间戳）。我知道这是黑客，但它的工作对我来说很好，因为我想要流只事实表，这是非常非常大，也不想有两种不同的方式来公开数据。所以我没有能力通过“bacth\u id”将我的维度处理为带有逻辑窗口的流。
但是现在我需要按时间间隔加载调光（例如。30秒）。我的调光器添加/更新/删除率很低。有些尺寸在四分之一秒内不会更新。
所以我的问题是，在一定条件下是否可以使用批量模式。例如，仅当表中的任何记录更改了列“update\u datetime”？是否可以混合批量+时间戳模式？
1条答案
按热度按时间2skhul331#
正如@cricket\u007在他的评论中解释的那样，threre没有这样的功能。所以解决这个问题有两种方法。writec自定义拉器或write自定义插件得到了kafka conenct。我以第一种方式接受工作。因为我用的是K8，保养很多不同的服务都很舒服。单独的服务更适合监控。但如果你不这样做；没有适合微服务的结构（包括资源协商、服务发现、自动配置的ci/cd等）。我推荐写自定义插件Kafka连接。