在的文件系统中 Hadoop
我有 Excel
文件。
我有任务要从中复制那个文件 Hadoop
到远程 SFTP
我的服务器 Scala/Spark
应用程序。
我已经形成了这样的看法:直接说是行不通的。如果我的担心是正确的,我需要采取下一步行动:
1) 将excel文件从hadoop删除到本地目录。例如,我可以使用scala dsl:
import scala.sys.process._
s"hdfs dfs -copyToLocal /hadoop_path/file_name.xlsx /local_path/" !
2) 从本地目录将文件发送到远程sftp服务器。你可以为这个任务推荐什么样的库?
我的推理正确吗?解决我的问题最好的方法是什么?
2条答案
按热度按时间cwtwac6a1#
我终于找到了解决问题的方法。我决定使用jsch库。
内部版本.sbt:
斯卡拉先生:
3pmvbmvn2#
正如评论中提到的,sparksftp是一个不错的选择
如果没有,您可以尝试以下来自apachecommons ftp库的示例代码。。将列出所有远程文件。。同样,您也可以删除这些文件。。未经测试请试用。
选项1:
选项2:有一个叫做jsch库的东西,您可以从中看到这个问题和示例片段