如何从spark自定义项返回genericinternalrow

roejwanj  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(298)

我有一个用scala编写的spark-udf,它需要成倍的列,并应用一些逻辑和输出internalrow。也存在structtype的spark模式。但是当我试图从udf返回internalrow时,有一个例外
java.lang.unsupportedoperationexception:不支持org.apache.spark.sql.catalyst.genericinternalrow类型的架构

val getData = (hash : String, type : String) => {
    val schema = hash match {
      case "people" =>
        peopleSchema
      case "empl" =>  emplSchema
    }
    getGenericInternalRow(schema)
  }

  val data = udf(getData)

spark版本:2.4.5

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题