我在理解使用scala/sparkshell和hadoop环境开发的逻辑体系结构时遇到了一些问题。
为了更好地描述逻辑架构,我画了一个小模式:
如图所示,我已经在我的个人pc上安装了eclipse,我想在远程模式下从pc运行scala脚本到hadoop。现在我有了vpn连接,我可以用shell中的putty处理scala程序。实际上,每次启动scala脚本时,我都会传输文件 .scala
用winscp从我的pc到远程机器,所以我直接从远程机器上运行程序。每次我都要把文件转过来,这让我工作很浪费。
现在的问题是:有没有一种方法可以将脚本从我的个人pc启动到远程集群,而不必传递到putty?
暂无答案!
目前还没有任何答案,快来回答吧!