这是一个 Simple 实施。
基本思想是 spark.read.json 我能读一本书 RDD .
所以，创建一个 RDD 从 GET 调用，然后将其作为常规Dataframe读取。

%spark
def get(url: String) = scala.io.Source.fromURL(url).mkString

val myUrl = "https://<abc>/api/v1/<xyz>"

val result = get(myUrl)

val jsonResponseStrip = result.toString().stripLineEnd 

val jsonRdd = sc.parallelize(jsonResponseStrip :: Nil)

val jsonDf = spark.read.json(jsonRdd)

就这样。

在我看来，您想要的是导入scala库以进行http请求。我建议使用http而不是更高级别的rest接口，因为分页可能在rest库中处理，可能支持也可能不支持并行。通过使用较低级别的http进行管理，可以取消分页耦合。然后可以使用您选择的并行机制。
有许多图书馆，但推荐一个特定的是超出范围。
如果不想导入库，可以让scala笔记本调用另一个运行标准库中包含http的语言的笔记本。然后，这个笔记本会将数据返回到scala笔记本。