如何在java中使用spark typedlit函数

bzzcjhmw  于 2021-05-26  发布在  Spark
关注(0)|答案(0)|浏览(440)

我正在使用Java8和SparkV2.4.1。
我想补充一下 Map 使用名为typedlit的spark函数。但是得到编译错误。如何在javaapi中实现它?
以下是场景:

Map<Integer,Integer> lookup_map= new HashMap<>();
    lookup_map.put(1,11);
    lookup_map.put(2,21);
    lookup_map.put(3,31);
    lookup_map.put(4,41);
    lookup_map.put(5,51);

    JavaSparkContext javaSparkContext = JavaSparkContext.fromSparkContext(sparkSession.sparkContext());

   Column typedMapCol = functions.typedLit(lookUpScoreHm, Map<Encoders.INT(), Encoders.INT()>  );  
    // this is not correct and giving error in at typedLit.

        Dataset<Row> resultDs= dataDs
           .withColumn("map_col", typedMapCol)

如何在Java8中定义functions.typedlit?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题