使用扩展点自定义sparkDataframe

2izufjch  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(240)

我在努力扩展 org.apache.spark.sql.Dataset -> def show(numRows: Int) 方法与Spark扩展点。
我知道我可以将解析器扩展为
通过源代码定义自定义解析器

val extension = create { extensions =>
      extensions.injectParser((_, _) => MyCatalystSqlParser)
}

设置为spark session

val sparkSession = SparkSession.builder().config(sparkConf)
         .withExtensions(extension)
         .master(masterUrl).getOrCreate()

有没有更苗条的方法来扩展数据集 show()/select()/join() 方法。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题