以下是我们正在使用的版本。
Kafka-2.10-0.8.2.2Flume-1.7.0Zookeeper-3.4.6
当我们尝试从oracle数据库增量下载数据时,我不断得到以下错误
(kafka-producer-network-thread | producer-1) [ERROR -
org.apache.kafka.clients.producer.internals.Sender.run(Sender.java:130)]
Uncaught error in kafka producer I/O thread:
org.apache.kafka.common.protocol.types.SchemaException: Error reading field 'throttle_time_ms': java.nio.BufferUnderflowException
at org.apache.kafka.common.protocol.types.Schema.read(Schema.java:71)
at org.apache.kafka.clients.NetworkClient.handleCompletedReceives(NetworkClient.java:439)
at org.apache.kafka.clients.NetworkClient.poll(NetworkClient.java:265)
at org.apache.kafka.clients.producer.internals.Sender.run(Sender.java:216)
at org.apache.kafka.clients.producer.internals.Sender.run(Sender.java:128)
at java.lang.Thread.run(Thread.java:745)
下面是我的Flume配置
agent.channels.ch1.capacity = 100000
agent.channels.ch1.transactionCapacity=10000
agent.sources.sql-source.incremental.column.name = customer_id
agent.sources.sql-source.incremental.value = 1000
agent.sinks.kafkaSink.kafka.topic=customer_topic
agent.sinks.kafkaSink.channel=ch1
agent.sinks.kafkaSink.flumeBatchSize=1000
agent.sinks.kafkaSink.kafka.producer.acks=1
当在这个论坛中搜索那个错误消息时,很多人都提到了版本不匹配。我不确定那是哪个服务器版本。我们不能轻易地改变版本。有什么(解决方法)可以让Kafka主题的增量吸收发挥作用吗。
当做
巴拉
1条答案
按热度按时间fzsnzjdm1#
Flume1.7.0用户指南:“这是一个FlumeSink实现,可以将数据发布到kafka主题。其中一个目标是将flume与kafka集成,以便基于pull的处理系统能够处理来自各种flume源的数据。它目前支持kafka 0.9.x系列发行版。
此版本的flume不再支持旧版本(0.8.x)的kafka。“