使用kafka connect hdfs sink connector将avro消息存储到hdfs目录时的时差

wnavrhmk  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(204)

我正在试图找到hdfs接收器连接器的延迟。我总共有1400000条消息,我触发了curl命令来创建刷新大小为200000的hdfs接收器连接器。第一次完成任务花了将近11分钟。在检查日志之后,我知道我还有其他连接器在运行,所以在下一轮测试中,我删除了所有其他连接器,并删除了hdfs目录、log目录、+tmp目录。我也删除了以前的连接器,并运行curl命令,将新的连接器名称和flush size设置为相同的200000条消息。这次在20秒内,所有消息都在hdfs目录中。有人能解释一下为什么有这么奇怪的处理时间间隔吗。第一次对同一个主题的测试大约花了11分钟,而在下一次的测试中,它只花了20秒
连接器属性:{“name”:“retestperf\u 2”,“config”:{“connector.class”:“io.confluent.connect.hdfs.hdfssinkconnector”,“flush.size”:“200000”,“tasks.max”:“15”,“topics”:“retestperf”,“hdfs.url”:hdfs://hostname:8020/topics“,”name“:”resetperf\u 2“}”,tasks“:[{”connector“:”resetperf\u 2“,”task“:0},{”connector“:”resetperf\u 2“,”task“:1},{“connector”:“retestperf\u 2”,“task”:2},{“connector”:“retestperf\u 2”,“task”:3},{“connector”:“retestperf\u 2”,“task”:4},{“connector”:“retestperf\u 2”,“task”:5},{“connector”:“retestperf\u 2”,“task”:6},{“connector”:“retestperf\u 2”,“task”:7},{“connector”:“retestperf\u 2”,“task”:8},{“connector”:“retestperf\u 2”,“task”:9},{“connector”:“retestperf\u 2”,“task”:10},{“connector”:“retestperf\u 2”,“task”:11},{“connector”:“retestperf\u 2”,“task”:12},{“connector”:“retestperf\u 2”,“task”:13},{“connector”:“retestperf\u 2”,“task”:14}}[

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题