看起来我们有两种不同的方法在pyspark数据块中获取input_file_name
,一种是在使用UnityCatalogCluster
时,即_metadata.file_name
和input_file_name()
是另一种方式,如果我们使用非UnityCatalogCluster。我不知道我在哪个数据块集群中运行代码(这个集群有多个UnityCatalogCluster和nonUnityCatalogCluster的集群组合)。所以,为了避免错误,我想在获取input_file_name之前检查数据块中的集群类型?
所以,有人可以请让我知道编程的方式来获得如果我的集群是unityCatalogCluster或非UnityCatalogCluster?
1条答案
按热度按时间whlutmcx1#
input_file_name
已弃用,将来将被删除。您需要使用_metadata.file_name
和其他_metadata
列。