从java spark中的rest api读取csv

k97glaaz  于 2021-07-12  发布在  Spark
关注(0)|答案(1)|浏览(339)

如何从RESTAPI读取csv并在java spark中处理,
基本上我是在寻找java等价的代码下面的scala代码
将restapi中的csv处理到spark中

import scala.io.Source._
import org.apache.spark.sql.{Dataset, SparkSession}

var res = fromURL(url).mkString.stripMargin.lines.toList
val csvData: Dataset[String] = spark.sparkContext.parallelize(res).toDS()

val frame = spark.read.option("header", true).option("inferSchema",true).csv(csvData)
frame.printSchema()
sauutmhj

sauutmhj1#

我们可以使用下面链接中提到的方法读入数据并将每一行添加到列表中。
此列表可以传递给parallelise()
java从web读取csv文件

相关问题