flume-oracle数据库-读取字段“throttle\u time\u ms”时出错

s4n0splo  于 2021-06-04  发布在  Flume
关注(0)|答案(1)|浏览(291)

以下是我们正在使用的版本。
Kafka-2.10-0.8.2.2Flume-1.7.0Zookeeper-3.4.6
当我们尝试从oracle数据库增量下载数据时,我不断得到以下错误

(kafka-producer-network-thread | producer-1) [ERROR - 
org.apache.kafka.clients.producer.internals.Sender.run(Sender.java:130)] 
Uncaught error in kafka producer I/O thread:
org.apache.kafka.common.protocol.types.SchemaException: Error reading field 'throttle_time_ms': java.nio.BufferUnderflowException
    at org.apache.kafka.common.protocol.types.Schema.read(Schema.java:71)
    at org.apache.kafka.clients.NetworkClient.handleCompletedReceives(NetworkClient.java:439)
    at org.apache.kafka.clients.NetworkClient.poll(NetworkClient.java:265)
    at org.apache.kafka.clients.producer.internals.Sender.run(Sender.java:216)
    at org.apache.kafka.clients.producer.internals.Sender.run(Sender.java:128)
    at java.lang.Thread.run(Thread.java:745)

下面是我的Flume配置

agent.channels.ch1.capacity = 100000
agent.channels.ch1.transactionCapacity=10000
agent.sources.sql-source.incremental.column.name =  customer_id
agent.sources.sql-source.incremental.value =  1000
agent.sinks.kafkaSink.kafka.topic=customer_topic
agent.sinks.kafkaSink.channel=ch1
agent.sinks.kafkaSink.flumeBatchSize=1000
agent.sinks.kafkaSink.kafka.producer.acks=1

当在这个论坛中搜索那个错误消息时,很多人都提到了版本不匹配。我不确定那是哪个服务器版本。我们不能轻易地改变版本。有什么(解决方法)可以让Kafka主题的增量吸收发挥作用吗。
当做
巴拉

fzsnzjdm

fzsnzjdm1#

Flume1.7.0用户指南:“这是一个FlumeSink实现,可以将数据发布到kafka主题。其中一个目标是将flume与kafka集成,以便基于pull的处理系统能够处理来自各种flume源的数据。它目前支持kafka 0.9.x系列发行版。
此版本的flume不再支持旧版本(0.8.x)的kafka。“

相关问题