我正在使用这个连接器
https://www.confluent.io/connector/sap-hana-connector/
这是我的配置
{
"name": "sap",
"config": {
"connector.class": "com.sap.kafka.connect.source.hana.HANASourceConnector",
"tasks.max": "10",
"topics": "sap_OHEM,sap_OHST",
"connection.url": "jdbc:sap://10.236.242.1:30015/",
"connection.user": "user",
"connection.password": "pass",
"mode":"bulk",
"poll.interval.ms":"86400000",
"sap_OHEM.table.name": "\"public\".\"OHEM\"",
"sap_OHEM.poll.interval.ms": "86400000",
"sap_OHST.table.name": "\"public\".\"OHST\"",
"sap_OHST.poll.interval.ms": "86400000",
}
}
ohem有超过30万排,ohst有大约500排。我的问题是,连接器只复制了100行,并将它们一次又一次地推到主题上,而不需要进行增量步骤。它不会复制所有的表,而是只复制其中的100行,然后一次又一次地复制它。我尝试了batch.max.rows,将100k作为限制,这解决了小表的问题,但没有解决大表的问题,因为它破坏了jvm内存
有人面临同样的问题吗?
暂无答案!
目前还没有任何答案,快来回答吧!