我遇到了以下错误：
Assert错误：尺寸失配
我使用PySpark的LinearRegressionWithSGD训练了一个线性回归模型，但是当我试图对训练集进行预测时，我得到了"维度不匹配"错误。
值得一提的是：
1.使用StandardScaler缩放数据，但未缩放预测值。
1.如代码所示，用于训练的特征由PCA生成。
部分代码：
pca_transformed = pca_model.transform(data_std)
X = pca_transformed.map(lambda x: (x[0], x[1]))
data = train_votes.zip(pca_transformed)
labeled_data = data.map(lambda x : LabeledPoint(x[0], x[1:]))
linear_regression_model = LinearRegressionWithSGD.train(labeled_data, iterations=10)预测是误差的来源，以下是我尝试的变化：
pred = linear_regression_model.predict(pca_transformed.collect())
pred = linear_regression_model.predict([pca_transformed.collect()])
pred = linear_regression_model.predict(X.collect())
pred = linear_regression_model.predict([X.collect()])回归权重：
DenseVector([1.8509, 81435.7615])所用载体：
pca_transformed.take(1)
[DenseVector([-0.1745, -1.8936])]
X.take(1)
[(-0.17449817243564397, -1.8935926689554488)]
labeled_data.take(1)
[LabeledPoint(22221.0, [-0.174498172436,-1.89359266896])]
1条答案
按热度按时间mwg9r5ms1#
这起了作用：
pca_transformed的类型为RDD。
function处理RDD和阵列的方式不同：
当使用简单数组时，可能会出现维度不匹配的问题（如上面问题中的错误）。
如图所示，如果x不是RDD，它将被转换为向量，问题是点积不起作用，除非你取x [0]。
下面是重现的错误：
这样做效果很好：