我有一个用scala编写的spark-udf,它需要成倍的列,并应用一些逻辑和输出internalrow。也存在structtype的spark模式。但是当我试图从udf返回internalrow时,有一个例外
java.lang.unsupportedoperationexception:不支持org.apache.spark.sql.catalyst.genericinternalrow类型的架构
val getData = (hash : String, type : String) => {
val schema = hash match {
case "people" =>
peopleSchema
case "empl" => emplSchema
}
getGenericInternalRow(schema)
}
val data = udf(getData)
spark版本:2.4.5
暂无答案!
目前还没有任何答案,快来回答吧!