我正在从spark应用程序向s3写入部件文件。零件文件通过重写multipletextoutputformat中的generatefilenameforkeyvalue写入嵌套目录结构。我想能够得到驱动程序中所有部件文件的列表，这样我就可以保存在数据库中或发送自定义消息。spark有这个用途吗？我最初看了蓄能器，但它似乎不是这个意思。spark docs还警告蓄能器可能会失败，但作业仍然成功。这可能导致数据丢失。