数据库使用Scala dBFS缓存

o2rvlv0m  于 2022-11-09  发布在  Scala
关注(0)|答案(1)|浏览(163)

有谁能帮帮我吗?我的.txt文件存储在Azure Databricks dBFS/FileStore位置。在我读取然后使用下面的命令之后,文件被缓存,因为当我重新上传修改后的.txt文件并重新读取时,我只能看到旧的文件数据。

contents = fromFile(filepath).getLines.mkString("\n");

谁能告诉我如何清除笔记本中的dBFS会话缓存,或者使用命令/函数不缓存dBFS文件存储中的文件。谢谢!

omhiaaxx

omhiaaxx1#

  • 据我所知,目前还没有专门针对dBFS的缓存。Spark集群有缓存,要清除它,可以使用以下命令。
spark.catalog.clearCache()
  • 然而,当您使用给定的命令读取文本文件时,它会按预期返回数据。当您修改文本文件并重新上载它时,dBFS会重命名该文件以避免文件名重复。请参阅下图。

  • 因此,请确保删除旧文件,然后上传修改后的.txt文件或更新filePath变量值以指向您要读取的文件。

相关问题