我正在使用以下命令通过kafka producer cli将文件写入kafka主题
kafka-console-producer --broker-list localhost:9092 --topic foo < output
我在文件中的管道。文件中的每一行都在我的本地kafka示例上进行了测试,这个命令有效。问题是,当我将vpn接入我的远程测试环境并运行相同的命令时,我会得到以下错误(数千次)以及870k条记录中的70k条记录,并将其发送给该vpn环境中的使用者。
org.apache.kafka.common.errors.TimeoutException: Expiring 30 record(s) for foo-1: 1546 ms has passed since last append
ERROR Error when sending message to topic foo with key: null, value: 545 bytes with error: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback)
我尝试通过添加标志来提高超时和批处理大小,以提高吞吐量,但在通过的消息数量上没有太大差异(需要做更多的测试)
kafka-console-producer --broker-list localhost:9092 --timeout 30000 -request-required-acks 1 --batch-size 100000 --topic foo < output
暂无答案!
目前还没有任何答案,快来回答吧!