pyspark 根据数据块中的群集类型获取input_file_name

ie3xauqp  于 2023-10-15  发布在  Spark
关注(0)|答案(1)|浏览(105)

看起来我们有两种不同的方法在pyspark数据块中获取input_file_name,一种是在使用UnityCatalogCluster时,即_metadata.file_nameinput_file_name()是另一种方式,如果我们使用非UnityCatalogCluster。我不知道我在哪个数据块集群中运行代码(这个集群有多个UnityCatalogCluster和nonUnityCatalogCluster的集群组合)。所以,为了避免错误,我想在获取input_file_name之前检查数据块中的集群类型?
所以,有人可以请让我知道编程的方式来获得如果我的集群是unityCatalogCluster或非UnityCatalogCluster?

whlutmcx

whlutmcx1#

input_file_name已弃用,将来将被删除。您需要使用_metadata.file_name和其他_metadata列。

相关问题