使用pyspark在databricks中实现filenotfound异常

eyh26e7m 于 2021-05-17 发布在 Spark

关注(0)|答案(1)|浏览(678)

我试图在databricks中使用pyspark实现异常处理，其中我需要检查文件是否存在于源位置。


**df= spark.read.csv.option("inferschema","true").load("mnt/pnt/abc.csv") 

   try:    
    df = open("abc.csv","rt")
    print("File opened")
except FileNotFoundError:
    print("File does not exist")
except:
    print("Other error")**

我希望有一些像上面的代码片段，但我不能采取的方法。我会请求一些帮助我会非常感激的

apache-spark pyspark apache-spark-sql databricks azure-databricks

来源：https://stackoverflow.com/questions/64808353/implement-filenotfound-exception-in-databricks-using-pyspark

1条答案

按热度按时间

qvk1mo1f1#

不能直接排除java.io错误，但是可以执行以下操作：

def read_file(path):
  try:
    dbutils.fs.ls(path)
    return spark.read.option("inferschema","true").csv(path)
  except Exception as e:
    if 'java.io.FileNotFoundException' in str(e):
      print('File does not exists')
    else:
      print('Other error')

read_file('mnt/pnt/abc.csv')

赞(0）回复(0）举报 2021-05-17

我来回答

使用pyspark在databricks中实现filenotfound异常

1条答案

相关问题

热门标签

最新问答