将spark df转换为后续对的df

nukf8bse  于 2021-07-14  发布在  Spark
关注(0)|答案(0)|浏览(254)

我试图实现的是将一个整数的星火df转换成一对连接后续元素的df,如下所示:

[1, 7, 9, 10, 11] -> [(1, 7), (7, 9), (9, 10), (10, 11)]

我不知道有什么能让你这么做的。也许有一些Map的变化允许窥视下一个元素?或者使用rdd可以允许这样的操作?
在scala spark中,我将我的输入表示为:

val input = Seq[Int](1, 7, 9, 10, 11)
val inputRdd = spark.sparkContext.parallelize(input)
val inputDf = spark.createDataFrame(inputRdd).toDF("point")

我想要的结果是一个有两列的rdd。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题