我有特别的Kafkahbase接收器连接器的问题,我将感谢任何意见或建议。
它是一个3节点的kafka集群-2个节点用于分布式连接,1个节点用于schema registry+kafka流。Kafka版本是0.10.1,是hortonworks平台2.6.3的一部分。还有ssl和kerberos身份验证设置。最重要的是,我有自定义Kafka应用程序,它接收消息,通过Kafka流处理它们,并在hbase中传递它们。
流程模型为:
1) 输入主题;
2) 处理(Kafka流媒体);
3) 输出主题;
4) hbase接收器连接器;
5) hbase。
1)中传递的消息被成功传输和处理,直到步骤3)完成。然后,尽管接收器连接器工作正常,但没有消息传递到hbase。
也就是说,我用单元测试测试了我们的定制应用程序模型,用它自己的基本设置创建了嵌入式kafka集群,测试成功了。这很可能表明连接问题来自某些群集设置。
供你参考,我观察了3件具体的事情:
标准使用者控制台功能能够成功地使用来自接收器主题的消息;
没有建立接收器连接的使用者id;
连接过程成功启动,但由于未记录的原因而停止,并且不调用workersinktask java类,在该类中实际发生了对hbase的写入。
另外,重要的一点是整个ssl加密和kerberos身份验证设置可能配置错误。
如果有人面临这样的情况,我将非常感谢任何意见,可以帮助。
迪米塔
暂无答案!
目前还没有任何答案,快来回答吧!