Apache Spark Pandas UDF结构域返回

k0pti3hp 于 2022-11-16 发布在 Apache

关注(0)|答案(1)|浏览(138)

我尝试从Pyspark中的Pandas UDF返回一个StructField，该UDF与聚合一起使用，函数签名如下：

def parcel_to_polygon(geom:pd.Series,entity_ids:pd.Series) -> Tuple[int,str,List[List[str]]]:

但结果是不支持返回类型。有没有其他方法可以实现同样的效果？我可以创建三个Pandas udf并返回原始类型，这是可行的，但函数逻辑在这三个函数中重复，这是我试图避免的（假设它会更好地执行，也许我错了）。

apache-spark

来源：https://stackoverflow.com/questions/74445075/pandas-udf-structfield-return

1条答案

按热度按时间

jv4diomz1#

可以将所有值作为 Dataframe 返回，如下所示

schema = StructType([
    StructField('X', DoubleType()), 
    StructField('Y', DoubleType()),
]) 

@pandas_udf(schema)  
def polygon(Logitude,Latitude):
   return pd.DataFrame({"X":Longitude,"Y",Latitude}) .

赞(0）回复(0）举报 2022-11-16

我来回答

Apache Spark Pandas UDF结构域返回

1条答案

相关问题

热门标签

最新问答