使用Kafka为clickhouse生成数据

6qqygrtg 于 2021-06-06 发布在 Kafka

关注(0)|答案(2)|浏览(550)

我想为clickhouse使用kafka集成。我试着使用官方教程像这里！已创建所有表。我运行Kafka服务器。下一步运行kafka producer并在命令promtjson对象中写入，就像数据库中的行一样。这样地：

{"timestamp":1554138000,"level":"first","message":"abc"}

我检查了Kafka的消费者，它收到了一个物体。但当我检查clickhouse数据库中的表时，发现有空行。你知道我做错了什么吗？

clickhouse apache-kafka

来源：https://stackoverflow.com/questions/55457726/using-kafka-to-produce-data-for-clickhouse

2条答案

按热度按时间

s2j5cfk01#

更新
若要忽略格式错误的消息，请将kafka\u skip\u breaked\u messages-param传递到表定义。
这似乎是最新版本的ch中出现的一个众所周知的问题，请尝试向引擎配置中添加额外的参数kafka\u row\u delimiter：

CREATE TABLE queue (
 timestamp UInt64,
 level String,
 message String
) 
ENGINE = Kafka SETTINGS
  kafka_broker_list = 'localhost:9092',
  kafka_topic_list = 'topic',
  kafka_group_name = 'group1',
  kafka_format = 'JSONEachRow',
  kafka_row_delimiter = '\n'
  kafka_skip_broken_messages = 1;

赞(0）回复(0）举报 2021-06-06

nnvyjq4y2#

非常抱歉。我失败了。在开始clickhouse和kafka之前。我测试了发送简单的信息到Kafka的主题。clickhouse试图解析它。我只是创造了一个新的主题，现在一切都正常了。谢谢您！

赞(0）回复(0）举报 2021-06-06