我想要像这样的东西
$hive > ADD FILE <directory_path>;
在配置单元的工作目录中添加一个目录。我用的是Hive0.7。我需要这个来添加python包以供mapper/reducer脚本使用。我有什么选择?
cnjp1d6j1#
对于0.7.1,可以使用shell转义(!)跑 !hadoop fs -mkdir <path> 或“dfs”命令 dfs -mkdir <path> . 有关详细信息,请参阅cli wiki页面。不确定这些是否在0.7中。
!hadoop fs -mkdir <path>
dfs -mkdir <path>
ni65a41a2#
对我有效的方法是将所有内容(目录/文件)压缩到一个zip文件,并使用“add archive”,如在hive中的add multiple files to distributed cache中所述
2条答案
按热度按时间cnjp1d6j1#
对于0.7.1,可以使用shell转义(!)跑
!hadoop fs -mkdir <path>
或“dfs”命令dfs -mkdir <path>
. 有关详细信息,请参阅cli wiki页面。不确定这些是否在0.7中。ni65a41a2#
对我有效的方法是将所有内容(目录/文件)压缩到一个zip文件,并使用“add archive”,如在hive中的add multiple files to distributed cache中所述