合流hdfs接收器连接器出现无效的\u获取\u会话\u epoch错误

uajslkp6  于 2021-06-04  发布在  Kafka
关注(0)|答案(0)|浏览(207)

我一直试图让汇合hdfs接收器连接器工作,但没有成功。我有一个5.2.2版本的confluent平台的分布式kafka connect集群(3个节点),与运行kafka 2.3.0的5节点kafka集群通信。
我有一个事件生成器将事件写入一个具有3个分区和1个复制因子的主题。我看到事件出现在hdfs中,而且一切看起来都是正确的。
但是,对于具有不同分区数或不同复制因子的主题,不会向hdfs写入任何内容。相反,我得到的错误如下所示:

Node 121 was unable to process the fetch request with (sessionId=378162138, epoch=7242): INVALID_FETCH_SESSION_EPOCH. (org.apache.kafka.clients.FetchSessionHandler:381)

这些事件出现在kafka connect日志中,每次尝试提交时都会出现其中一个事件。
对于一个有3个分区、复制因子为1的主题,一切正常。
对于具有3个分区和复制因子2的主题,没有任何内容写入hdfs。
对于具有50个分区、复制因子为1的主题,不会写入任何内容。
事实上,如果我增加复制因子或分区数,就不会向hdfs写入任何内容。
我似乎找不到合适的配置使它工作。我应该注意什么设置?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题