我想创建一个oozie工作流，将hdfs文件从hdfs集群传输到另一台服务器。由于oozie可以在系统中的任何节点上运行命令或脚本，因此可以在其中一个节点上运行shell脚本或sftp，并将文件传输到目标服务器。
s6fujrry1#
我认为通过在远程服务器上对hdfs文件执行httpget（open操作）（您可以使用 curl 为此）。无论如何，如果您想通过oozie来实现，我认为您可以创建一个脚本，负责将所需的文件从hdfs移动到本地文件系统，然后执行 scp 以便将本地文件系统中的文件移动到远程文件系统。
curl
scp
1条答案
按热度按时间s6fujrry1#
我认为通过在远程服务器上对hdfs文件执行httpget（open操作）（您可以使用
curl为此）。无论如何，如果您想通过oozie来实现，我认为您可以创建一个脚本，负责将所需的文件从hdfs移动到本地文件系统，然后执行
scp以便将本地文件系统中的文件移动到远程文件系统。