apache flink for daily aggregation report

2w2cym1i 于 2021-06-04 发布在 Kafka

关注(0)|答案(1)|浏览(311)

我们让Flink在Kafka身上跑来跑去。我们分析的数据流之一是 order-audits （基本上每个状态更改都作为一个事件发出）。
每个订单事件都是这样的

{
  "id" : "ord-1",
  "merchant_id" : "merchant-a",
  "status" : "created",
  ...
  "updated_at" : 
  "event_time" : 
}

我想运行一个聚合，它可以在给定的一天在一个商家级别进行聚合。
像这样的

{ 
   "merchant_id" : "merchant-a",
   "date" : "2019-07-01",
   "started" : 10,
   "completed" : 13,
   "cancelled" : 3
}

flink适合这种聚合吗(大多数示例都是直接聚合）
抱歉，如果这是重复/天真的。谢谢！

1条答案

当然，Flink很容易做这种分析。您可能会发现使用flink的sql api最容易做到这一点，因为那里的学习曲线很平缓——一旦设置好，假设您了解一些sql，就非常简单了。
看一看https://github.com/ververica/sql-training/ 有指导的介绍。