我有一个系统将avro数据推送到多个Kafka主题中。
我想把数据传给hdfs。我遇到了confluent，但不知道如何在不启动的情况下将数据发送到hdfs kafka-avro-console-producer .
我执行的步骤：
我有我自己的Kafka和zookeeper运行，所以我刚刚开始合流模式注册。
我开始了 kafka-connect-hdfs 更改主题名称后。这一步也是成功的。它可以连接到hdfs。
在这之后，我开始将数据推送到kafka，但是消息没有被推送到hdfs。
请帮忙。我是新来汇合的。
1条答案
按热度按时间xwbd5t1u1#
您可以避免使用kafka avro控制台生成器，使用自己的生成器向主题发送消息，但我们强烈建议您使用合流模式注册表(https://github.com/confluentinc/schema-registry)管理模式并使用与模式注册表绑定的avro序列化程序来保持avro数据的一致性。关于为什么在这里这样做是个好主意的理由，有一篇很好的文章。
如果您能够将kafka avro控制台生成器生成的消息发送到hdfs，那么您的问题可能是kafka connect hdfs连接器无法反序列化数据。我想您正在阅读快速入门指南。如果您打算将avro写入hdfs，那么最好的结果将来自您在两侧（Kafka内部和外部）使用相同的序列化程序。本文档介绍了此过程的工作原理。