将数据从未安装hadoop(hdfs)的节点导出到配置单元

ycl3bljg 于 2021-06-02 发布在 Hadoop

关注(0)|答案(1)|浏览(290)

是否可以从尚未将hadoop（hdfs）或sqoop安装到配置单元服务器的节点导出数据？我会从mysql或某个目录中的文件中读取数据，然后使用hadoop核心类或类似sqoop的东西将数据导出到hadoop集群中。我正在用java编程。

1条答案

因为你的最终目的地是一个Hive表。我建议如下：
创建配置单元最终表。
使用以下命令从另一个节点加载数据

LOAD DATA LOCAL INPATH '<full local path>/kv1.txt' OVERWRITE INTO TABLE table_name;

参考此
使用java，可以使用jschlib来调用这些shell命令。
希望这有帮助。