kafka connect filestreamsink连接器在输出文件中不包含密钥

p1iqtdky  于 2021-06-04  发布在  Kafka
关注(0)|答案(1)|浏览(386)

尝试使用简单的文件接收器连接器从主题中提取数据。生成的文件不包含事件键,我找不到启用该设置的设置。最终目标是使用源连接器加载文件并生成相同的示例数据,事件键非常重要。
谢谢

{
    "name": "save-seed-data",
    "config": {
        "connector.class": "org.apache.kafka.connect.file.FileStreamSinkConnector",
        "tasks.max": "1",
        "name": "save-seed-data", 
        "topics": "FIRM",
        "file": "/tmp/FIRM.txt",
        "key.converter": "org.apache.kafka.connect.storage.StringConverter",
        "key.converter.schemas.enable": "false",
        "value.converter": "org.apache.kafka.connect.storage.StringConverter",
        "value.converter.schemas.enable": "false"  
    }
}
wbrvyc0a

wbrvyc0a1#

因为源代码只引用该值,所以不确定在输出中该键应该在哪里。
不过,您可以下载并使用消息转换将键移到值中。
https://github.com/jcustenborder/kafka-connect-transform-archive
同样值得一提的是,filestream源连接器不解析数据。每一行,也只进入值
一般来说,使用 kafkacat 从文件中转储/加载数据要简单得多。

相关问题