我的用例是使用apache配置单元表记录创建生产者，并将其发送到kafka主题。我研究了confluent kafka connect，但到目前为止，他们只提供了一个使用hdfs连接器从kafka主题到配置单元表的演示。有人用kafka连接器从源配置单元表到kafka主题做过一次吗？或者我们还有其他的选择，比如编写定制的javaapi包吗？我很乐意接受其他的选择。
os8fio9y1#
你是对的，Kafkahdfs连接只是一个接收器，而不是Kafka的源。编辑：似乎现在有一个hdfs3source（在试用许可证下）就我个人而言，我会完全跳过Hive，从hdfs中阅读。您可以使用纯java来实现这一点，也可以使用spark/flink与那些kafka库集成，或者可以尝试使用更多可视化工具（如apachenifi或streamset）来提取hdfs数据并将其发送给kafka。通常，hdfs不是Kafka数据的来源，无论如何，从我所看到的。如果你需要把东西拔出来，spark似乎是最常用的工具。写一个Kafka主题是一个实现细节。
1条答案
按热度按时间os8fio9y1#
你是对的，Kafkahdfs连接只是一个接收器，而不是Kafka的源。编辑：似乎现在有一个hdfs3source（在试用许可证下）
就我个人而言，我会完全跳过Hive，从hdfs中阅读。
您可以使用纯java来实现这一点，也可以使用spark/flink与那些kafka库集成，或者可以尝试使用更多可视化工具（如apachenifi或streamset）来提取hdfs数据并将其发送给kafka。
通常，hdfs不是Kafka数据的来源，无论如何，从我所看到的。如果你需要把东西拔出来，spark似乎是最常用的工具。写一个Kafka主题是一个实现细节。