尝试使用**cos函数代替numpy**函数。
要使用numpy函数，您需要使用toPandas()函数将dataframe转换为pandas dataframe。

Example:

from pyspark.sql.functions import cos
df.withColumn('new', cos(col("A"))).show()

使Numpy与Pyspark一起使用总是很麻烦，所以我建议使用math来计算余弦

import math
import pyspark.sql.functions as F
from pyspark.sql.functions import udf
from pyspark.sql.types import IntegerType, FloatType

df = spark.createDataFrame(
    [(10),
     (20)],
    IntegerType())

# Define a UDF to wrap the function call and define the return type
cosUDF = udf(lambda z: math.cos(z), FloatType())

df = (df .withColumn('new', cosUDF(F.col('value'))))

df.show()

+-----+----------+                                                              
|value|       new|
+-----+----------+
|   10|-0.8390715|
|   20|0.40808207|
+-----+----------+