我认为在这种情况下使用spark不会有什么改进。
据我所知，在数据不适合一台机器的情况下，使用spark可以获得很大的改进，它可以帮助您利用集群中多台机器的处理能力。
因此，在这种情况下，您应该尝试使用并行处理，而不是使用spark。

如果它能适合你的ram，那么使用spark就不会有任何明显的优势，如果你愿意，你可以尝试使用dask来代替pandas进行并行计算。