我一直在试图找到一种使用apachedrill使用sql查询kafka主题的方法。有谁能给我一个起点，以便我如何才能连接钻Kafka。任何帮助都将不胜感激。
ffx8fchx1#
drill 1.12中增加了对kafka查询的支持。我自己还没有用过它，但我会提供一个所需的一般配置的快速大纲。如果您遇到更多问题，请通过drill的邮件列表与我们联系http://drill.apache.org/mailinglists/ . 我们可以帮助您调试问题，然后在这里发布结果。您需要做的大致概述如下：在drill的web ui中创建存储插件。将插件命名为kafka
{ "bootstrap.servers": "broker_1:port1,broker_2:port2", "group.id": "drill-consumer-group-1", "enabled": true }
创建插件配置后，为查询设置适当的kafka消息反序列化程序： alter session set store.kafka.record.reader = org.apache.drill.exec.store.kafka.decoders.JsonMessageReader 还可以设置适用于查询的轮询超时： alter session set store.kafka.poll.timeout = 200 尝试查询： select * from kafka.myTopic;
alter session set store.kafka.record.reader = org.apache.drill.exec.store.kafka.decoders.JsonMessageReader
alter session set store.kafka.poll.timeout = 200
select * from kafka.myTopic;
1条答案
按热度按时间ffx8fchx1#
drill 1.12中增加了对kafka查询的支持。我自己还没有用过它，但我会提供一个所需的一般配置的快速大纲。如果您遇到更多问题，请通过drill的邮件列表与我们联系http://drill.apache.org/mailinglists/ . 我们可以帮助您调试问题，然后在这里发布结果。
您需要做的大致概述如下：
在drill的web ui中创建存储插件。将插件命名为kafka
创建插件配置后，为查询设置适当的kafka消息反序列化程序：
alter session set store.kafka.record.reader = org.apache.drill.exec.store.kafka.decoders.JsonMessageReader还可以设置适用于查询的轮询超时：alter session set store.kafka.poll.timeout = 200尝试查询：select * from kafka.myTopic;