org.apache.kafka.connect.errors.dataexception:记录的json无效默认值：null

dohp0rv5 于 2021-06-08 发布在 Kafka

关注(0)|答案(2)|浏览(562)

我有一个使用kafkaavroserializer生成的kafka avro主题。
我的独立属性如下。
我正在使用confluent 4.0.0运行kafka connect。

key.converter=io.confluent.connect.avro.AvroConverter
value.converter=io.confluent.connect.avro.AvroConverter
key.converter.schema.registry.url=<schema_registry_hostname>:8081
value.converter.schema.registry.url=<schema_registry_hostname>:8081
key.converter.schemas.enable=true
value.converter.schemas.enable=true
internal.key.converter=org.apache.kafka.connect.json.JsonConverter
internal.value.converter=org.apache.kafka.connect.json.JsonConverter
internal.key.converter.schemas.enable=false
internal.value.converter.schemas.enable=false

在独立模式下运行kafka connectors for hdfs sink时，会收到以下错误消息：

[2018-06-27 17:47:41,746] ERROR WorkerSinkTask{id=camus-email-service-0} Task threw an uncaught and unrecoverable exception (org.apache.kafka.connect.runtime.WorkerTask)
org.apache.kafka.connect.errors.DataException: Invalid JSON for record default value: null
    at io.confluent.connect.avro.AvroData.defaultValueFromAvro(AvroData.java:1640)
    at io.confluent.connect.avro.AvroData.toConnectSchema(AvroData.java:1527)
    at io.confluent.connect.avro.AvroData.toConnectSchema(AvroData.java:1410)
    at io.confluent.connect.avro.AvroData.toConnectSchema(AvroData.java:1290)
    at io.confluent.connect.avro.AvroData.toConnectData(AvroData.java:1014)
    at io.confluent.connect.avro.AvroConverter.toConnectData(AvroConverter.java:88)
    at org.apache.kafka.connect.runtime.WorkerSinkTask.convertMessages(WorkerSinkTask.java:454)
    at org.apache.kafka.connect.runtime.WorkerSinkTask.poll(WorkerSinkTask.java:287)
    at org.apache.kafka.connect.runtime.WorkerSinkTask.iteration(WorkerSinkTask.java:198)
    at org.apache.kafka.connect.runtime.WorkerSinkTask.execute(WorkerSinkTask.java:166)
    at org.apache.kafka.connect.runtime.WorkerTask.doRun(WorkerTask.java:170)
    at org.apache.kafka.connect.runtime.WorkerTask.run(WorkerTask.java:214)
    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
    at java.util.concurrent.FutureTask.run(FutureTask.java:266)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
    at java.lang.Thread.run(Thread.java:745)
[2018-06-27 17:47:41,748] ERROR WorkerSinkTask{id=camus-email-service-0} Task is being killed and will not recover until manually restarted (    org.apache.kafka.connect.runtime.WorkerTask)
[2018-06-27 17:52:19,554] INFO Kafka Connect stopping (org.apache.kafka.connect.runtime.Connect).

当我使用kafka avro console consumer传递schema注册表时，我会反序列化kafka消息。
即。：

/usr/bin/kafka-avro-console-consumer --bootstrap-server <kafka-host>:9092 --topic <KafkaTopicName> --property schema.registry.url=<schema_registry_hostname>:8081

avro apache-kafka apache-kafka-connect confluent-platform confluent-schema-registry

来源：https://stackoverflow.com/questions/51069370/org-apache-kafka-connect-errors-dataexception-invalid-json-for-record-default-v

2条答案

按热度按时间

ht4b089n1#

我想你的Kafka钥匙是空的，不是avro。
或者是其他类型，但格式不正确，未转换为 RECORD 数据类型。请参阅avrodata源代码

case RECORD: {
    if (!jsonValue.isObject()) {
      throw new DataException("Invalid JSON for record default value: " + jsonValue.toString());
    }

根据你的评论更新，然后你可以看到这是真的

$ curl -X GET localhost:8081/subjects/<kafka-topic>-key/versions/latest    
{"subject":"<kafka-topic>-key","version":2,"id":625,"schema":"\"bytes\""}

在任何情况下，hdfs connect都不会以本机方式存储密钥，因此请尝试根本不反序列化密钥，而不是使用avro。

key.converter=org.apache.kafka.connect.converters.ByteArrayConverter

另外，您的控制台使用者没有打印密钥，因此您的测试不充分。你需要加上 --property print.key=true

赞(0）回复(0）举报 2021-06-08

3mpgtkmj2#

将“subscription”列的数据类型更改为union数据类型解决了这个问题。avroconverter能够反序列化消息。

赞(0）回复(0）举报 2021-06-08

我来回答

org.apache.kafka.connect.errors.dataexception:记录的json无效默认值：null

2条答案

相关问题

热门标签

最新问答