kafka连接s3接收器多个分区

wsxa1bj1  于 2021-06-04  发布在  Kafka
关注(0)|答案(1)|浏览(370)

我有很多关于Kafka连接s3接收器连接器的问题
1.我想知道是否可以使用kafka connect的s3接收器来保存具有多个分区的记录?
例如,我有一个json记录:

{
 "DateA":"UNIXTIMEA",
 "DateB":"UNIXTIMEB",
 "Data":"Some Data"
}

(所有字段都是顶级字段)
是否可以通过以下路径将数据保存到s3中:
s3://sometopic/unixtimea/unixtimeb
2.我可以将unixtimea/unixtimeb转换为可读的日期格式而不更改记录值本身吗(出于可读性原因)
3.我可以在s3路径中为unixtimea添加前缀吗?例如:

s3://DateA=UNIXTIMEA/DateB=UNIXTIMEB/...

我刚开始读文档,慢慢地掌握了一些窍门,但我还没有找到这些问题的直截了当的答案。
我想做基本上所有这些行动在我的配置,但我怀疑我可以没有一个自定义分区,我想尽快确认这一点。
提前谢谢
c、 马铃薯

nfs0ujit

nfs0ujit1#

fieldpartioner会获取字段名列表
https://github.com/confluentinc/kafka-connect-storage-common/blob/master/partitioner/src/main/java/io/confluent/connect/storage/partitioner/fieldpartitioner.java#l34

相关问题