ADL上存在apache spark orc文件路径

rjzwgtxy  于 2021-05-16  发布在  Spark
关注(0)|答案(0)|浏览(317)

Spark新手在这里。我已经收集了大量的数据,并存储在一个文件夹中,与ADL发生的日期相对应。每个文件夹都根据日期命名(例如:<2020-12-04>)。我试图查询最近30天内发生的最新数据。目前,我正在尝试从ADL读取数据,并尝试切换日期,直到我得到一个命中,但我找不到一种方法来检查提供的路径是否有效。导致错误。任何提示都会有帮助

while !folderFound
{
  string path = $"adls://<adlsaccount>/{listofdates[i]}/<file>;
  DataFrame df = spark.Read().orc(path); //need to know if the path is valid so it doesn't error
  .
  .
  .
}
  do some work once we get a successful read

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题