连接字段和基于时间的分区器

6ovsh4lw  于 2021-06-04  发布在  Kafka
关注(0)|答案(1)|浏览(351)

在使用kafka s3 connect with timebasedpartioner编写文件时,我想在我的s3 bucket名称后面附加一个字段名。目前,bucket名称类似于year=yyyy/month=mm/day=dd/hour=hh,我想将其设置为fieldname=fieldvalue/year=yyy/month=mm/day=dd/hour=hh。我的想法是通过传递fieldname param来提高parquet查询性能。

m4pnthwp

m4pnthwp1#

那个分割者不是现成的。它有一个开放的pr,如果可以的话,可以单独打包为jar并添加到类路径中

相关问题