pyspark 根据数据块中的群集类型获取input_file_name

ie3xauqp 于 12个月前发布在 Spark

关注(0)|答案(1)|浏览(92)

看起来我们有两种不同的方法在pyspark数据块中获取input_file_name，一种是在使用UnityCatalogCluster时，即_metadata.file_name和input_file_name()是另一种方式，如果我们使用非UnityCatalogCluster。我不知道我在哪个数据块集群中运行代码（这个集群有多个UnityCatalogCluster和nonUnityCatalogCluster的集群组合）。所以，为了避免错误，我想在获取input_file_name之前检查数据块中的集群类型？
所以，有人可以请让我知道编程的方式来获得如果我的集群是unityCatalogCluster或非UnityCatalogCluster？

pyspark

来源：https://stackoverflow.com/questions/77219186/get-input-file-name-based-on-the-cluster-type-in-databricks