将文件从一个linux设备移动到hdfs的最佳方法是什么 flume 或者 ssh ?ssh命令：
flume
ssh
cat kali.txt | ssh user@hadoopdatanode.com "hdfs dfs -put - /data/kali.txt"
ssh的唯一问题是每次我需要检查如何在没有身份验证的情况下传递密码时都需要提到密码。可以 flume 将文件从一台服务器直接移动到hdfs？
osh3o9ms1#
您可以将hadoop客户机安装在包含这些文件的linux设备上。然后您可以“hdfs-dfs-put”您的数据直接从该框到hadoop集群。
oogrdqng2#
例如，您可以用python创建一个脚本来完成这项工作
q0qdq0h23#
也许你可以做一个无密码的ssh，然后不输入密码就传输文件
3条答案
按热度按时间osh3o9ms1#
您可以将hadoop客户机安装在包含这些文件的linux设备上。然后您可以“hdfs-dfs-put”您的数据直接从该框到hadoop集群。
oogrdqng2#
例如，您可以用python创建一个脚本来完成这项工作
q0qdq0h23#
也许你可以做一个无密码的ssh，然后不输入密码就传输文件