此线性回归模型没有可用的p值

snvhrwxg  于 2021-05-17  发布在  Spark
关注(0)|答案(0)|浏览(301)

仍然在学习spark ml。有没有想过我可以用org.apache.spark.ml.regression.linearregression得到带有regparam的系数的p值仍然是0.0?真的需要帮助,谢谢。

// transform dataframe
val spark = SparkSession.builder().master("local").getOrCreate()
import spark.implicits._
val df = dataRDD.map{case(fdate, adHashValue, effectDummyArray, timeDummyArray, label) =>
  val features = Vectors.dense(effectDummyArray ++ timeDummyArray)
  (label, features)
}.toDF("label", "features")

// set up model
val lr = new LinearRegression()

val lr_model = lr.fit(df)
val summary = lr_model.summary
val PValues = summary.pValues
val Variance = summary.coefficientStandardErrors.map{x => x * x}
val coefficients: Array[Double] = lr_model.coefficients.asInstanceOf[DenseVector].values

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题