从kafka更新elasticsearch中的部分文档

8cdiaqws  于 2021-06-07  发布在  Kafka
关注(0)|答案(0)|浏览(254)

我有多个kafka连接器和主题,它们都包含不同的数据源,但都包含对同一主键的引用(我们称之为“id”)。你能用这个id更新elasticsearch吗?
例如,源1具有以下架构

{
    "id": 123
    "some_value": "yo"
    "details": {}
}

源2具有以下特性

{
    "id": 123
    "reference": 1
},
{
    "id": 123
    "reference": 2  
}

有没有一种方法可以在es中创建我的预期结果来模仿以下内容

{
    "id": 123
    "some_value": "yo"
    "details": [
        {
            "id": 123
            "reference": 1
        },
        {
            "id": 123
            "reference": 2
        }
    ]
}

我曾尝试用Kafka的变换来处理希恩菲尔德,但都没有成功

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题