您不需要循环，但可以使用联合，如果您将Dataframe过滤到所需的行，则可以使用 Union -在我用过的过滤器里 IsNotNull() 但是你可以使用任何你喜欢的过滤器（如果你不确定过滤器的语法给我们更多的细节，我会帮助）。

var taxId = dataFrame.Filter(Functions.Col("TaxId").IsNotNull())
    .WithColumn("UniqueId", Functions.Col("TaxId"));

var ssId = dataFrame.Filter(Functions.Col("ss").IsNotNull())
    .WithColumn("UniqueId", Functions.Col("ss"));

var unionedDataFrame = taxId.Union(ssId);
unionedDataFrame.Show()

获得最终Dataframe后，可以选择实际需要的列，也可以删除不需要的列：

unionedDataFrame.Drop("TaxId").Show()

或

unionedDataFrame.Select("name, UniqueId").Show()

从逻辑上讲，在spark中，这与：

dataFrame.Filter(Functions.Col("TaxId").IsNotNull())
    .WithColumn("UniqueId", Functions.Col("TaxId"))
    .Union( 
      dataFrame.Filter(Functions.Col("ss").IsNotNull())
       .WithColumn("UniqueId", Functions.Col("ss"))
     ).Show()

还要注意的是，当您调用一个方法时，会得到一个新的dataframe，因此dataframe.filter（）的结果是一个单独的dataframe dataFrame 但需要注意的是，由于延迟求值，spark在执行查询时会创建计划。