如何集成spark、livy和nifi从jar执行spark代码

ki1q1bka  于 2021-05-19  发布在  Spark
关注(0)|答案(0)|浏览(367)

有没有一种方法,我们可以使用livy从nifi执行spark代码(jar中的包)?
我可以在nifi中看到 ExecuteSparkInteractive ,我们可以使用livy提交可以在spark集群中运行的自定义代码。但我想要的是,传递jar文件的名称,nifi中通过livy连接spark的主类。
我看到下面这篇文章,但似乎是这样的选择 Session JARs 在普通nifi安装中不可用。
https://community.cloudera.com/t5/community-articles/apache-livy-apache-nifi-apache-spark-executing-scala-classes/ta-p/247985

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题