Apache Livy与spark-jobserver的比较

wfypjpf4  于 2023-01-13  发布在  Apache
关注(0)|答案(3)|浏览(219)

我知道Apache Livy是从任何地方与spark交互的rest接口。那么使用Apache Livy而不是spark-jobserver的好处是什么?使用Livy作为替代品的spark-jobserver的缺点是什么?我在互联网上找不到太多关于这方面的信息。你能帮助我澄清这一点吗?
谢谢你,

xmq68pz9

xmq68pz91#

有两个主要的差异与我的用例相关。

    • 李维的优势:**
  • Livy不需要对代码进行任何更改,而SJS作业必须扩展特定的类。
  • Livy允许提交代码片段和预编译的jar,而SJS只接受jar。
  • 除了REST之外,Livy还有Java和Scala API。Python API正在开发中,SJS有"Python绑定"
    • SJS优势:**
  • SJS也可以管理jar,它允许你上传和存储jar,然后用一个单独的REST调用从这些jar中部署作业,无论何时你需要部署作业,Livy都需要jar。
  • SJS作业可以配置为HOCON格式,该格式可以作为REST调用的一部分提交。

此外,SJS有更好的文档,尽管在这两种情况下,它都不全面。当然,记住这两个项目都是v1之前的,所以事情可能会很快改变。
在我的例子中,我们最终选择了SJS,因为我不需要提交代码段,Jar管理和HOCOCN配置就派上了用场。但是,我正在考虑在不久的将来重新访问Livy,以便进行更彻底的评估。
资料来源:

l5tcr1uw

l5tcr1uw2#

截至2018年9月,Livy和(Ooyala)Spark作业服务器之间唯一的主要区别是,尽管(当前版本的)Livy是基于Spark 2.2.0构建的,但运行Livy时使用的Spark版本不需要与构建Livy时使用的版本匹配,Livy内部处理不同Spark版本之间的差异。
这种行为与Spark Job-server不同,后者与它所构建的Spark版本紧密耦合。

q3qa4bjr

q3qa4bjr3#

对于4年后读到这篇文章的人来说,Spark Jobserver并没有对Spark 3.x的支持,所以随着上面提到的Spark版本的紧耦合,这在2023年似乎是一个死胡同。

相关问题