我知道Apache Livy是从任何地方与spark交互的rest接口。那么使用Apache Livy而不是spark-jobserver的好处是什么?使用Livy作为替代品的spark-jobserver的缺点是什么?我在互联网上找不到太多关于这方面的信息。你能帮助我澄清这一点吗?谢谢你,
xmq68pz91#
有两个主要的差异与我的用例相关。
此外,SJS有更好的文档,尽管在这两种情况下,它都不全面。当然,记住这两个项目都是v1之前的,所以事情可能会很快改变。在我的例子中,我们最终选择了SJS,因为我不需要提交代码段,Jar管理和HOCOCN配置就派上了用场。但是,我正在考虑在不久的将来重新访问Livy,以便进行更彻底的评估。资料来源:
l5tcr1uw2#
截至2018年9月,Livy和(Ooyala)Spark作业服务器之间唯一的主要区别是,尽管(当前版本的)Livy是基于Spark 2.2.0构建的,但运行Livy时使用的Spark版本不需要与构建Livy时使用的版本匹配,Livy内部处理不同Spark版本之间的差异。这种行为与Spark Job-server不同,后者与它所构建的Spark版本紧密耦合。
q3qa4bjr3#
对于4年后读到这篇文章的人来说,Spark Jobserver并没有对Spark 3.x的支持,所以随着上面提到的Spark版本的紧耦合,这在2023年似乎是一个死胡同。
3条答案
按热度按时间xmq68pz91#
有两个主要的差异与我的用例相关。
此外,SJS有更好的文档,尽管在这两种情况下,它都不全面。当然,记住这两个项目都是v1之前的,所以事情可能会很快改变。
在我的例子中,我们最终选择了SJS,因为我不需要提交代码段,Jar管理和HOCOCN配置就派上了用场。但是,我正在考虑在不久的将来重新访问Livy,以便进行更彻底的评估。
资料来源:
l5tcr1uw2#
截至2018年9月,Livy和(Ooyala)Spark作业服务器之间唯一的主要区别是,尽管(当前版本的)Livy是基于Spark 2.2.0构建的,但运行Livy时使用的Spark版本不需要与构建Livy时使用的版本匹配,Livy内部处理不同Spark版本之间的差异。
这种行为与Spark Job-server不同,后者与它所构建的Spark版本紧密耦合。
q3qa4bjr3#
对于4年后读到这篇文章的人来说,Spark Jobserver并没有对Spark 3.x的支持,所以随着上面提到的Spark版本的紧耦合,这在2023年似乎是一个死胡同。