bashscript将文件上载到hdfs

3okqufwl  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(502)

我正在尝试创建一个bashscript来将文件从本地边缘节点文件系统上载到hdfs。我在想一个在文件中添加时间戳的好方法。在使用时间戳时遇到了一些问题。


# !/bin/bash

echo Running upload script to hdfs...
timestamp(){date +"%T"}

hdfs dfs -put /home/myname/folder1/* /user/myname/example_1_$(timestamp).txt
hdfs dfs -put /home/myname/folder2/* /user/myname/example_2_$(timestamp).txt
pes8fvy9

pes8fvy91#

使用 date +%T 不可能,因为命令结果将包含 : 里面的人物 11:12:45 ,并使用 : 在hdfs中不能使用字符。参见hadoop-3275。
在脚本中尝试此命令,

hdfs dfs -put /home/myname/folder1/* /user/myname/example_1_`date +%H%M%S`.txt

这将创建类似的文件名 /user/myname/example_1_111245.txt .

相关问题