Spark新手在这里。我已经收集了大量的数据,并存储在一个文件夹中,与ADL发生的日期相对应。每个文件夹都根据日期命名(例如:<2020-12-04>)。我试图查询最近30天内发生的最新数据。目前,我正在尝试从ADL读取数据,并尝试切换日期,直到我得到一个命中,但我找不到一种方法来检查提供的路径是否有效。导致错误。任何提示都会有帮助
while !folderFound
{
string path = $"adls://<adlsaccount>/{listofdates[i]}/<file>;
DataFrame df = spark.Read().orc(path); //need to know if the path is valid so it doesn't error
.
.
.
}
do some work once we get a successful read
暂无答案!
目前还没有任何答案,快来回答吧!