有没有一种方法,我们可以使用livy从nifi执行spark代码(jar中的包)?
我可以在nifi中看到 ExecuteSparkInteractive
,我们可以使用livy提交可以在spark集群中运行的自定义代码。但我想要的是,传递jar文件的名称,nifi中通过livy连接spark的主类。
我看到下面这篇文章,但似乎是这样的选择 Session JARs
在普通nifi安装中不可用。
https://community.cloudera.com/t5/community-articles/apache-livy-apache-nifi-apache-spark-executing-scala-classes/ta-p/247985
暂无答案!
目前还没有任何答案,快来回答吧!