我有一个设置，其中来自kafka集群的传入数据由apachespark流作业处理。
版本信息：-kafka=0.8.x spark version=2.3.1
最近，当kafka集群的容量增加（通过添加新节点）时，我们突然看到spark集群的磁盘使用率呈指数级增长（大部分空间被spark temp文件占用）
我不确定这些是否相关，并希望一些指针来解决/调试相同的问题。
作为预防措施，我们增加了spark群集的磁盘空间，以避免“设备上没有剩余空间”错误。