我们正在尝试通过SuiteAnalytics Connect(ODBC)将数据从Netsuite导入Azure Synapse Analytics-这适用于除一个表(transactionLine)之外的所有表,该表的连接总是在2小时后超时
从与甲骨文的谈话来看,两小时的限制是固定的,不能增加。
我在管道中设置了一个复制数据活动,当我将“使用查询”设置为“表”时,该活动超时,但当我将其设置为“查询”并将其限制为少量行(例如100)时,该活动工作正常(请参见屏幕截图)
是否有一种内置的方法可以批量导入此数据,比如说一次导入1000行,而无需创建几十个单独的Copy Data活动?
1条答案
按热度按时间gj3fmq9x1#
为了使您的管道在大量记录或创建批处理以导入数据时正常工作,您可以使用以下方法。
start
处理的记录的开始。end
处理的记录的结尾。until
活动进行处理,直到end
值大于left
。*现在,使用
execute pipeline
活动并将变量值传递给该管道参数,在此参数的帮助下,您可以查询数据并批量导入。start
和end
的值,其中start
的值递增,并且end
的值也递增。start
的值,我将changestart
变量取为以下值。changestart
值赋给start
变量。end
也是如此。下面是当有5000条记录时的调试输出。