我已经开发了ApacheFlink连接器来读取orientdb源代码中的数据。它工作得很好，从源代码读取数据并将其放入数据集。但是，我想使用分页技术读取数据并逐页提取数据。你知道我怎么做吗？
x9ybnkn61#
您正在使用查询？使用此类型的查询可以获得有限数量的结果：
SELECT FROM <target> [WHERE ...] SKIP <records-to-skip> LIMIT <max-records>
pn9klfpd2#
您可以将完整的数据集拆分为跳过限制批处理，并将其作为单独的flink作业运行，如下面的clifrontend在处理多个批处理作业时突然shotton flink不会在处理第一页的所有记录之前读取第二页。或者，您应该通过flink-group-by-all记录实现分页逻辑，在单个页面中按页码进行分页，然后使用parallelism 1处理所有页面组
2条答案
按热度按时间x9ybnkn61#
您正在使用查询？使用此类型的查询可以获得有限数量的结果：
pn9klfpd2#
您可以将完整的数据集拆分为跳过限制批处理，并将其作为单独的flink作业运行，如下面的clifrontend在处理多个批处理作业时突然shotton flink不会在处理第一页的所有记录之前读取第二页。
或者，您应该通过flink-group-by-all记录实现分页逻辑，在单个页面中按页码进行分页，然后使用parallelism 1处理所有页面组