现在我有一个要求，总有人的行动，在过去3个月。然后将结果放入ml模型中得到异常。考虑到系统的巨大流量，这是一个非常大的窗口。我如何处理这种情况？
ef1yzkbh1#
我将基于以下假设回答您的问题：数据是以流方式提供的，您需要在该流的顶部创建一个窗口，因为您的问题中不清楚该细节。尽管如此，您可以使用rocksdb状态后端创建一个如此大的窗口，因为该窗口不会存储在内存中，并且窗口大小限制将仅取决于硬件的硬盘大小。
ffx8fchx2#
当您有一个数据集时，您可以对flink使用批处理，但是，flink是一个真正的流引擎，这意味着批处理被认为是流的一个特例。另一种选择是使用hadoop进行这种批处理。
2条答案
按热度按时间ef1yzkbh1#
我将基于以下假设回答您的问题：数据是以流方式提供的，您需要在该流的顶部创建一个窗口，因为您的问题中不清楚该细节。
尽管如此，您可以使用rocksdb状态后端创建一个如此大的窗口，因为该窗口不会存储在内存中，并且窗口大小限制将仅取决于硬件的硬盘大小。
ffx8fchx2#
当您有一个数据集时，您可以对flink使用批处理，但是，flink是一个真正的流引擎，这意味着批处理被认为是流的一个特例。另一种选择是使用hadoop进行这种批处理。