我知道可以通过sqoop将rdbm的数据导入hdfs，但是我想知道是否也可以导入平面文件。例如，是否可以从远程linux文件系统导入文件？谢谢你的帮助。
voase2hg1#
对于在hdfs中放置平面文件，不需要sqoop，我也不认为有任何理由使用sqoop。试试下面的命令。这是同样的文档。
hadoop fs -put <src-linux-file-system> <target-hdfs-file-system>
ftf50wuq2#
sqoop不能用于将任何文件类型导入hadoop。根据您对hadoop中数据摄取的及时性（批处理、近实时、实时）的要求，您可以选择fs-put（适用于宏批处理）、flume或kafka（适用于更频繁的更新，如近实时用例）。对于实时摄取，您可能需要首先考虑内存，然后再考虑永久存储。在这种情况下，您可能需要使用一些工具，如storm或spark streaming。
iqxoj9l93#
答案是不使用sqoop导入平面文本文件，使用flume导入
3条答案
按热度按时间voase2hg1#
对于在hdfs中放置平面文件，不需要sqoop，我也不认为有任何理由使用sqoop。试试下面的命令。这是同样的文档。
ftf50wuq2#
sqoop不能用于将任何文件类型导入hadoop。根据您对hadoop中数据摄取的及时性（批处理、近实时、实时）的要求，您可以选择fs-put（适用于宏批处理）、flume或kafka（适用于更频繁的更新，如近实时用例）。对于实时摄取，您可能需要首先考虑内存，然后再考虑永久存储。在这种情况下，您可能需要使用一些工具，如storm或spark streaming。
iqxoj9l93#
答案是不使用sqoop导入平面文本文件，使用flume导入