hadoop—如何下载tar.gz并将其打包到hdfs，而不将整个文件下载到本地磁盘？

c7rzv4ha 于 2021-06-01 发布在 Hadoop

关注(0)|答案(1)|浏览(579)

我想将tar.gz文件从web直接提取到hdfs中。跳过下载到本地磁盘阶段，因为文件可能非常大。
这一切都来自简单的命令行脚本（bash、wget等）

hadoop hdfs tar command-line-interface

来源：https://stackoverflow.com/questions/49630824/how-to-download-tar-gz-and-uppack-it-to-hdfs-without-downloading-the-whole-file

1条答案

按热度按时间

好吧，看起来这个班轮很管用：

wget -O - http://...tar.gz | tar xfz - --to-stodout | hadoop dfs -put - /somepath

赞(0）回复(0）举报 2021-06-01

相关问题

热门标签

Java query python Node 开发语言 request Util 数据库 Table 后端算法 Logger Message Element Parser

最新问答

xxl-job 安全组扫描到执行器端口服务存在信息泄露漏洞
回答(1) 发布于 4个月前
xxl-job 不能和nacos兼容？
回答(3) 发布于 4个月前
xxl-job 任务执行完后无法结束，日志一直转圈
回答(3) 发布于 3个月前
xxl-job-admin页面上查看调度日志样式问题
回答(1) 发布于 4个月前
xxl-job 参数512字符限制能否去掉
回答(1) 发布于 4个月前