我有一个每天添加的本地文件，所以我想把这些新添加的文件同步到hdfs。我试过下面的命令，但都是完整的副本，我想一些命令，只复制新添加的文件
$ hdfs dfs -cp /home/user/files/* /data/files/*
11dmarpk1#
你可以用hsync。https://github.com/alexholmes/hsync它是alex的定制包，可能在开发环境中很有用，但在生产环境中可能很难部署。我正在寻找一个类似的解决方案，但目前看来这似乎是最接近的。另一种选择是编写自己的shell脚本来比较源/目标文件的时间，然后只覆盖较新的文件。
1条答案
按热度按时间11dmarpk1#
你可以用hsync。https://github.com/alexholmes/hsync
它是alex的定制包，可能在开发环境中很有用，但在生产环境中可能很难部署。我正在寻找一个类似的解决方案，但目前看来这似乎是最接近的。另一种选择是编写自己的shell脚本来比较源/目标文件的时间，然后只覆盖较新的文件。