kafka kstream应用程序-temp文件清理

6ie5vjzr  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(328)

似乎我的基于kstream的应用程序已经积累了很多gbs的文件(.sst,log.old.等)。
这些是自己清理的还是我需要注意的?某个参数被设置来挑选他们?

qaxu7uf2

qaxu7uf21#

关于这些本地/temp文件:其中一些文件是应用程序状态,这些文件应该占所消耗空间的大部分。您的应用程序可能正在“堆积”许多gbs的文件,这仅仅是因为您的应用程序实际上正在管理许多状态。如果删除这些文件,可以通过从Kafka重放州的变更日志(自动)来重建它们,但这可能需要一些时间。
这些是自己清理的还是我需要注意的?某个参数被设置来挑选他们?
一些清理工作已经完成,但正如我在上面所写的,文件占用这些空间很可能是有原因的。或许您可以共享应用程序处理拓扑的一个片段,以及一些有关应用程序处理的数据的信息,这可能有助于了解所消耗的空间是否正确,或者是否存在问题。
清理:最新版本的kafka(0.10.0.1)现在附带了一个用于kafka流的应用程序重置工具,以及一些附带的有助于清理/重置的api方法,请参阅使用kafka流重新处理数据:重置流应用程序。也就是说,我不确定您是否打算清理文件,因为您已停止应用程序并希望清除所有本地数据,还是因为您希望在应用程序仍在运行时执行一些“垃圾收集”。如果是关于后者(gc),那么一般来说就不需要了——文件在那里是有充分理由的,而且很可能只是被重新创建。

相关问题