我目前正在处理4个数据流作业,每个作业都在3个独立的环境中复制。在过去的3个月里,所有12个示例都成功运行。但是,我在大多数这些示例中观察到一种奇怪的内存使用模式,即内存消耗在突然崩溃之前呈阶梯形上升。幸运的是,这些崩溃没有导致数据丢失。目前,我们正在低负荷下运行,但我担心当我们最终过渡到满负荷时可能出现的问题。我应该担心这种内存使用模式吗?如果是这样,我应该调查哪些主要领域来诊断和解决这个问题?任何指导或见解将不胜感激。
tjvv9vkg1#
经过与谷歌的调查,并添加了一些变化的工作,我们得出结论,这很可能是最晚的数据,没有处理的工作。添加一个丢弃延迟数据的配置似乎解决了这个问题。
1条答案
按热度按时间tjvv9vkg1#
经过与谷歌的调查,并添加了一些变化的工作,我们得出结论,这很可能是最晚的数据,没有处理的工作。添加一个丢弃延迟数据的配置似乎解决了这个问题。