我是Kafka的初学者。试图将Kafka的数据写入hdfs。在任何地方都没有关于如何使用confluent的kafka connect hdfs java api的文档。任何链接或代码片段将帮助我。提前谢谢。
uqcuzwp81#
您不需要使用javaapi。kafkaconnect可以从命令行或RESTAPI使用。。。即使您正在从java触发连接器，restapi仍然可以工作。一些文档可以帮助您开始：首先，kafkanconnect快速启动，只是为了确保您的系统处于良好状态，然后再尝试执行一些高级操作：http://docs.confluent.io/3.0.0/connect/intro.html#quickstart如果你是Kafka的新手，也许可以从Kafka快速入门开始：http://docs.confluent.io/3.0.0/quickstart.html当独立的应用程序运行时，请尝试切换到分布式模式并查看rest api：http://docs.confluent.io/3.0.0/connect/userguide.html#rest-接口然后尝试hdfs连接器。从快速启动开始：http://docs.confluent.io/3.0.0/connect/connect-hdfs/docs/hdfs_connector.html#quickstart或博客教程：http://www.confluent.io/blog/how-to-build-a-scalable-etl-pipeline-with-kafka-connect希望这对你有帮助。
icomxhvb2#
您可以使用kafka的producerjavaapi编写kafka主题。kafka connect hdfs将从主题中获取消息并将它们放入hdfs中。这不需要java代码。运行它时，kafka connect hdfs快速启动中显示：
$ ./bin/connect-standalone etc/schema-registry/connect-avro-standalone.properties \ etc/kafka-connect-hdfs/quickstart-hdfs.properties
目前，kafka connect hdfs只支持在kafka模式注册表中注册了avro数据格式的主题。
2条答案
按热度按时间uqcuzwp81#
您不需要使用javaapi。kafkaconnect可以从命令行或RESTAPI使用。。。即使您正在从java触发连接器，restapi仍然可以工作。
一些文档可以帮助您开始：
首先，kafkanconnect快速启动，只是为了确保您的系统处于良好状态，然后再尝试执行一些高级操作：http://docs.confluent.io/3.0.0/connect/intro.html#quickstart
如果你是Kafka的新手，也许可以从Kafka快速入门开始：http://docs.confluent.io/3.0.0/quickstart.html
当独立的应用程序运行时，请尝试切换到分布式模式并查看rest api：http://docs.confluent.io/3.0.0/connect/userguide.html#rest-接口
然后尝试hdfs连接器。从快速启动开始：http://docs.confluent.io/3.0.0/connect/connect-hdfs/docs/hdfs_connector.html#quickstart
或博客教程：http://www.confluent.io/blog/how-to-build-a-scalable-etl-pipeline-with-kafka-connect
希望这对你有帮助。
icomxhvb2#
您可以使用kafka的producerjavaapi编写kafka主题。
kafka connect hdfs将从主题中获取消息并将它们放入hdfs中。这不需要java代码。
运行它时，kafka connect hdfs快速启动中显示：
目前，kafka connect hdfs只支持在kafka模式注册表中注册了avro数据格式的主题。