ApacheKafka—使用java编程实现具有巨大结果集的长时间运行查询

euoag5mw  于 2021-06-06  发布在  Kafka
关注(0)|答案(0)|浏览(224)

我正在为我们的项目要求,但无法得到正确的方法在谷歌技术解决方案之一。
以下是要求。
1) 我们有一个长期运行的oracle查询,它在工作时间运行大约1.5个小时,返回大约1000万条记录。
2) 我们必须使用java编程将这个结果集插入/转储到SQLServerDB表中。
以下是我对这个要求的担忧。在使用sql查询检索所有记录时,可能会出现(内存不足)错误。可能导致网络超时等
计划用SpringBatch/kafka流处理器等做,不确定是否可行。请推荐java最好的方法/技术来解决这个问题。提前谢谢

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题