在hdfs sink connector中，我需要在主题级别配置键和值转换器，即使用不同的转换器配置不同的主题。有可能吗？
gpnt7bae1#
您只需要为要使用不同键/值转换器的主题创建不同的worker配置文件。例如，如果您想用avro键解析一个主题，那么使用
key.converter=io.confluent.connect.avro.AvroConverter key.converter.schema.registry.url=http://localhost:8081
而对于另一个（比如json格式，没有模式）您可以使用
key.converter=org.apache.kafka.connect.json.JsonConverter key.converter.schemas.enable=false
然后，可以在分布式模式下运行这些worker配置文件。
eit6fx6z2#
转换器是可以在连接器级别重写的属性。这意味着连接器示例可以覆盖在connect worker配置中为转换器全局设置的值。因此，尽管不可能按主题重写，但是将使用相同转换器类型的主题分组（每个主题都在一个连接器示例中）可以实现更接近您所描述的更实际的方式。
2条答案
按热度按时间gpnt7bae1#
您只需要为要使用不同键/值转换器的主题创建不同的worker配置文件。
例如，如果您想用avro键解析一个主题，那么使用
而对于另一个（比如json格式，没有模式）您可以使用
然后，可以在分布式模式下运行这些worker配置文件。
eit6fx6z2#
转换器是可以在连接器级别重写的属性。这意味着连接器示例可以覆盖在connect worker配置中为转换器全局设置的值。
因此，尽管不可能按主题重写，但是将使用相同转换器类型的主题分组（每个主题都在一个连接器示例中）可以实现更接近您所描述的更实际的方式。