如何配置kafka connect spooldir来使用json数组?

i2byvkas  于 2021-06-06  发布在  Kafka
关注(0)|答案(1)|浏览(370)

我已经将kafka connect spooldir配置为根据上的说明使用包含json对象的文件https://github.com/jcustenborder/kafka-connect-spooldir. 这将使用包含一个或多个json对象的文件。现在我如何配置它来使用一个包含json数组的文件呢?
以下是我当前的键和值模式:

key.schema={"name": "com.example.users.UserKey", "type": "STRUCT", "isOptional": false, "fieldSchemas": {"id": {"type": "INT64", "isOptional": false }}}
value.schema={"name": "com.example.users.User", "type": "STRUCT", "isOptional": false, "fieldSchemas": {"id": {"type": "INT64", "isOptional": false}, "test": {"type": "STRING", "isOptional": true}}}

以下是我的数据示例:

{
  "id": 10,
  "test": "Carla Howe"
}
{
  "id": 1,
  "test": "Gayle Becker"
}

以下是我想要的数据:

[
  {
    "id": 10,
    "test": "Carla Howe"
  },
  {
    "id": 1,
    "test": "Gayle Becker"
  }
]

我试着简单地将第一个类型从struct改为array,但这会抛出一个npe“valueschema cannot be null”。
有人能给我指出正确的方向吗,或者举个例子?

m2xkgtsf

m2xkgtsf1#

根据文档,可以运行schemagenerator工具来为示例数据生成模式。

相关问题