kafka connect:没有模式注册表,如何使用avroconverter?

kx1ctssn  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(463)

在工人分发的道具中,我们有:

value.converter=io.confluent.connect.avro.AvroConverter
value.converter.schema.registry.url=<dev-schema-url>

我们注意到使用schema registry时性能很差。我可以在没有模式注册表的情况下使用avroconverter吗?我试过了https://github.com/farmdawgnation/registryless-avro-converter 但我们遇到了:

java.io.IOException Not a data file

kafka连接器读取的每条消息是否都与模式注册表联系?
架构是否缓存?
在没有模式注册表的情况下使用avroconverter还有哪些其他选项?

ep6jt1vc

ep6jt1vc1#

我们注意到使用schema registry时性能很差
您是否分析了性能问题所在以及原因?比如,是网络流量吗?架构注册表的响应时间?等。
有许许多多的人在生产中成功地使用了schema注册表;性能不是架构注册表的已知问题。
kafka连接器读取的每条消息是否都与模式注册表联系?

架构是否缓存?
对。
在没有模式注册表的情况下使用avroconverter还有哪些其他选项?
无;avroconverter需要架构注册表。

参考文献:

https://docs.confluent.io/current/schema-registry/docs/index.html
https://docs.confluent.io/current/schema-registry/docs/connect.html
https://medium.com/@stephane.maarek/introduction-to-schemas-in-apache-kafka-with-the-confluent-schema-registry-3bf55e401321
https://qconnewyork.com/system/files/presentation-slides/qcon_17_-_schemas_and_apis.pdf
https://www.confluent.io/blog/schema-registry-kafka-stream-processing-yes-virginia-you-really-need-one/
https://www.confluent.io/blog/how-i-learned-to-stop-worrying-and-love-the-schema-part-1/

相关问题