使用toPandas可以帮助：

df_p = transformed.select('topicDistributionCol').toPandas()
df_p1 = df_p.topicDistribution.apply(lambda x:np.array(x))
df_p2 = pd.DataFrame(df_p1.tolist()).apply(lambda x:x.argmax(),axis=1)
df_p3 = df_p2.reset_index()
df_p3.columns = ['doc','topic']
df_p3

**不要把你的数据出Spark！**这违背了使用Spark的目的。如果你实际上不需要它，使用scikit。

加上@kevin提供的答案，一旦你在LDA模型transformed = model.transform(input_data)上运行了transform方法来获得你的主题分布，你应该看到一个包含以下列的数据框：

+--------------------+
|  topicDistribution |
+--------------------+
|[8.11971897779803...|
|[0.00341037397939...|
|[0.00141274604502...|

这是针对n维三角形单形形状中的所有顶点的每行（预测）的测量值列表，该n维三角形单形形状是LDA模型。
您可以使用下面这个方便的小udf，通过在上面的col中的概率分布上运行它来自动Map每行ONEtop topic**。
简而言之，我们正在寻找列表中的最大概率，这是您的首要主题。概率测量的顺序与您的主题**相同。

from pyspark.sql.types import IntegerType
import pyspark.sql.functions as f

@f.udf(returnType=IntegerType())
def top_topic(topic_dist):
    dict = {prob: i for i, prob in enumerate(topic_dist)}
    return dict.get(max(topic_dist))

如果你只想MapONEtop topic为分布中的每一行，你的时间复杂度将是O（n）。
但是如果你试图为每个文档建模多个关系，你可以修改如下的方法，以支持最多****个主题，这将给予你的复杂度为O（n ^ k），其中k是你想要返回的主题的数量。所以保持k合理;）

from pyspark.sql.types import ArrayType, IntegerType
import pyspark.sql.functions as f

@f.udf(returnType=ArrayType(IntegerType()))
def top_3_topics(topic_dist):
    k = 3
    res = []
    mutable = list(topic_dist)
    dict = {prob: i for i, prob in enumerate(topic_dist)}
    for i in range(k):
        current = dict.get(max(mutable))
        res.append(current)
        mutable[current] = 0.0

    del mutable
    return res

完成后，你会得到这个：

+--------------------+-----+
|  topicDistribution |topic|
+--------------------+-----+
|[8.11971897779803...|   19|
|[0.00341037397939...|   12|
|[0.00141274604502...|   19|

或者这样（如果需要多个主题，则使用ArrayType列）：

+--------------------+------------+
|  topicDistribution |       topic|
+--------------------+------------+
|[8.11971897779803...|  [19, 1, 7]|
|[0.00341037397939...| [12, 16, 4]|
|[0.00141274604502...|[19, 16, 11]|

这样做的目的是将主题列附加到现有结果中。
命名您的主题并将主题标签自动加入到结果中：

from pyspark.sql.types import StringType, StructType, StructField

schema = StructType([
            StructField("topic", StringType(), True),
            StructField("topic_name", StringType(), True)])

data = [('0', 'politics'),
        ('1', 'global'),
        ('2', 'crime')]

        topics_data = self.spark.createDataFrame(data, schema)
        results = results.join(topics_data, 'topic', 'left')

我认为这个问题有一个简单的答案。请执行以下操作：

transformed.take(10)

输出的最后一列将是“topicDistribution”，即文档主题分布。