dsdf.select( \
 expr( \
   "transform( split(language,','), x -> from_json(x,'text String'))" \
 ).alias("text")\
).show()

我使用expr生成一个sql字符串来运行transform，这对spark的版本具有最广泛的兼容性，但是transform可以在最新版本的pyspark中本地运行。
split将生成一个数组，该数组基于您可以通过'，'拆分它们的假设
transform将对数组中的每一项进行操作
如您所知，from_json解析json。