[hdfs connector+kafka]如何在独立模式下编写多个主题？

hfsqlsce 于 2021-06-02 发布在 Hadoop

关注(0)|答案(1)|浏览(320)

我正在使用 Confluent 的 HDFS Connector 将流数据写入 HDFS . 我按照用户手册和快速启动和设置我的连接器。当我只使用一个主题时，它可以正常工作。我的属性文件如下

name=hdfs-sink
connector.class=io.confluent.connect.hdfs.HdfsSinkConnector
tasks.max=1
topics=test_topic1
hdfs.url=hdfs://localhost:9000
flush.size=30

当我添加多个主题时，我看到它不断提交偏移量，而没有看到它编写提交的消息。

name=hdfs-sink
connector.class=io.confluent.connect.hdfs.HdfsSinkConnector
tasks.max=2
topics=test_topic1,test_topic2
hdfs.url=hdfs://localhost:9000
flush.size=30

我尝试了tasks.max和1和2。我不断得到 Committing offsets 记录如下

[2016-10-26 15:21:30,990] INFO Started recovery for topic partition test_topic1-0 (io.confluent.connect.hdfs.TopicPartitionWriter:193)
[2016-10-26 15:21:31,222] INFO Finished recovery for topic partition test_topic1-0 (io.confluent.connect.hdfs.TopicPartitionWriter:208)
[2016-10-26 15:21:31,230] INFO Started recovery for topic partition test_topic2-0 (io.confluent.connect.hdfs.TopicPartitionWriter:193)
[2016-10-26 15:21:31,236] INFO Finished recovery for topic partition test_topic2-0 (io.confluent.connect.hdfs.TopicPartitionWriter:208)
[2016-10-26 15:21:35,155] INFO Reflections took 6962 ms to scan 249 urls, producing 11712 keys and 77746 values  (org.reflections.Reflections:229)
[2016-10-26 15:22:29,226] INFO WorkerSinkTask{id=hdfs-sink-0} Committing offsets (org.apache.kafka.connect.runtime.WorkerSinkTask:261)
[2016-10-26 15:23:29,227] INFO WorkerSinkTask{id=hdfs-sink-0} Committing offsets (org.apache.kafka.connect.runtime.WorkerSinkTask:261)
[2016-10-26 15:24:29,225] INFO WorkerSinkTask{id=hdfs-sink-0} Committing offsets (org.apache.kafka.connect.runtime.WorkerSinkTask:261)
[2016-10-26 15:25:29,224] INFO WorkerSinkTask{id=hdfs-sink-0} Committing offsets (org.apache.kafka.connect.runtime.WorkerSinkTask:261)

当我优雅地停止服务（ctrl+c）时，我看到它正在删除 tmp 文件夹。我做错什么了？正确的方法是什么？感谢您对此提出的任何建议。

hadoop hdfs apache-kafka apache-kafka-connect confluent-platform

来源：https://stackoverflow.com/questions/40263793/hdfs-connector-kafkahow-to-write-multiple-topics-in-standalone-mode

1条答案

按热度按时间

blpfk2vs1#

在过去的一个多月里，我一直被你在这里提到的同样的问题绊倒，我无法弄清问题的真相，直到今天我升级到了Confluent3.1.1，并且这些东西开始按预期工作。。。
我就是这样打滚的

name=hdfs-sink
connector.class=io.confluent.connect.hdfs.HdfsSinkConnector
tasks.max=5
topics=accounts,contacts,users
hdfs.url=hdfs://localhost:9000
flush.size=1
hive.metastore.uris=thrift://localhost:9083
hive.integration=true
schema.compatibility=BACKWARD
format.class=io.confluent.connect.hdfs.parquet.ParquetFormat
partitioner.class=io.confluent.connect.hdfs.partitioner.HourlyPartitioner
locale=en-us
timezone=UTC

赞(0）回复(0）举报 2021-06-03

我来回答

[hdfs connector+kafka]如何在独立模式下编写多个主题？

1条答案

相关问题

热门标签

最新问答