我在努力扩展 org.apache.spark.sql.Dataset -> def show(numRows: Int)
方法与Spark扩展点。
我知道我可以将解析器扩展为
通过源代码定义自定义解析器
val extension = create { extensions =>
extensions.injectParser((_, _) => MyCatalystSqlParser)
}
设置为spark session
val sparkSession = SparkSession.builder().config(sparkConf)
.withExtensions(extension)
.master(masterUrl).getOrCreate()
有没有更苗条的方法来扩展数据集 show()/select()/join()
方法。
暂无答案!
目前还没有任何答案,快来回答吧!