在使用kafka s3 connect with timebasedpartioner编写文件时,我想在我的s3 bucket名称后面附加一个字段名。目前,bucket名称类似于year=yyyy/month=mm/day=dd/hour=hh,我想将其设置为fieldname=fieldvalue/year=yyy/month=mm/day=dd/hour=hh。我的想法是通过传递fieldname param来提高parquet查询性能。
在使用kafka s3 connect with timebasedpartioner编写文件时,我想在我的s3 bucket名称后面附加一个字段名。目前,bucket名称类似于year=yyyy/month=mm/day=dd/hour=hh,我想将其设置为fieldname=fieldvalue/year=yyy/month=mm/day=dd/hour=hh。我的想法是通过传递fieldname param来提高parquet查询性能。
1条答案
按热度按时间m4pnthwp1#
那个分割者不是现成的。它有一个开放的pr,如果可以的话,可以单独打包为jar并添加到类路径中