kafka connect s3 bucket文件夹

huus2vyu  于 2021-06-04  发布在  Kafka
关注(0)|答案(2)|浏览(397)

我可以使用合流s3连接器在s3中创建自己的目录吗?
我知道它创建了一个文件夹结构,不幸的是我们需要一个新的目录结构。

mec1mxoz

mec1mxoz1#

你可以改变主意 topics.dir 然后是 partitioner.class .
如果您需要“一个新的目录结构”(因为s3没有目录而引用),那么您需要考虑实现您自己的partitioner类
https://docs.confluent.io/current/connect/kafka-connect-s3/index.html#s3-对象名称

jk9hmnmh

jk9hmnmh2#

此外,如果您想完全删除第一个s3“folder”(“topics”默认值),可以设置 topics.dir backspace字符的配置: \b .
这边,{bucket}/ \b /{partitioner\u defined\u path}变成{bucket}/{partitioner\u defined\u path}。

相关问题