kafka sap连接器批量模式无法正常工作

pinkon5k  于 2021-06-07  发布在  Kafka
关注(0)|答案(0)|浏览(228)

我正在使用这个连接器

https://www.confluent.io/connector/sap-hana-connector/

这是我的配置

{
    "name": "sap",
    "config": {
        "connector.class": "com.sap.kafka.connect.source.hana.HANASourceConnector",
        "tasks.max": "10",
        "topics": "sap_OHEM,sap_OHST",
        "connection.url": "jdbc:sap://10.236.242.1:30015/",
        "connection.user": "user",
        "connection.password": "pass",
        "mode":"bulk",
        "poll.interval.ms":"86400000",
        "sap_OHEM.table.name":                          "\"public\".\"OHEM\"",
        "sap_OHEM.poll.interval.ms":                    "86400000",
        "sap_OHST.table.name":                          "\"public\".\"OHST\"",
        "sap_OHST.poll.interval.ms":                    "86400000",
    }
}

ohem有超过30万排,ohst有大约500排。我的问题是,连接器只复制了100行,并将它们一次又一次地推到主题上,而不需要进行增量步骤。它不会复制所有的表,而是只复制其中的100行,然后一次又一次地复制它。我尝试了batch.max.rows,将100k作为限制,这解决了小表的问题,但没有解决大表的问题,因为它破坏了jvm内存
有人面临同样的问题吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题