将带有向量列的dataframe转换为dataset-在case类中使用哪种类型

brqmpdu1 于 2021-07-12 发布在 Spark

关注(0)|答案(1)|浏览(344)

我有一个Dataframe与向量类型列作为一个热编码器的结果。让我们命名列向量。
通过一个case类示例（vector:whichtype），我想将dataframeMap到一个数据集：

val ds = dataframe.as[Example]

问题是：case类中的属性“vector”应该具有哪种类型。
我收到一条错误消息：
需要一个数组字段，但有个数组字段tructtype:tinyint,size:int,indices:array<内景，values:array>;

1条答案

如果您使用的是spark ml，那么可以使用下面导入的向量类型：

import org.apache.spark.ml.linalg.Vector

case class Example(vector: Vector)