如何在用java编写的spark应用程序中运行python代码?

e5njpo68  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(210)

我一直在研究如何从java代码运行python代码,我看到了一些可以这样做的选项。
我的场景有点不同,想象一下一个用java编写的spark应用程序将处理一个大型数据集(比如3b的记录,大约1tb大小)。对于每个记录,python代码都将被调用一次。java代码需要传递avro记录,python代码将处理它并返回结果。
考虑到性能很重要,而且我们将处理大型数据集,我正在尝试找出解决这个问题的最佳选择。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题