我可以使用合流s3连接器在s3中创建自己的目录吗?我知道它创建了一个文件夹结构,不幸的是我们需要一个新的目录结构。
mec1mxoz1#
你可以改变主意 topics.dir 然后是 partitioner.class .如果您需要“一个新的目录结构”(因为s3没有目录而引用),那么您需要考虑实现您自己的partitioner类https://docs.confluent.io/current/connect/kafka-connect-s3/index.html#s3-对象名称
topics.dir
partitioner.class
jk9hmnmh2#
此外,如果您想完全删除第一个s3“folder”(“topics”默认值),可以设置 topics.dir backspace字符的配置: \b .这边,{bucket}/ \b /{partitioner\u defined\u path}变成{bucket}/{partitioner\u defined\u path}。
\b
2条答案
按热度按时间mec1mxoz1#
你可以改变主意
topics.dir
然后是partitioner.class
.如果您需要“一个新的目录结构”(因为s3没有目录而引用),那么您需要考虑实现您自己的partitioner类
https://docs.confluent.io/current/connect/kafka-connect-s3/index.html#s3-对象名称
jk9hmnmh2#
此外,如果您想完全删除第一个s3“folder”(“topics”默认值),可以设置
topics.dir
backspace字符的配置:\b
.这边,{bucket}/
\b
/{partitioner\u defined\u path}变成{bucket}/{partitioner\u defined\u path}。