hadoop-cp限制文件数

tvz2xvvm  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(427)

有没有办法限制文件的数量 cp 在hadoop中?
例如,在我的目标目录中 /data/d_20151111-2350/ 包含8个文件。这些文件中有随机数,所以我不能使用regex来选择一对。我在想是不是有什么东西 hadoop fs -cp /data/d_20151111-2350/* /dest/location/ LIMIT 2 哪里 LIMIT 2 表示2个文件。

lp0sw83n

lp0sw83n1#

不,没有这样的参数
另请参见:

https://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-common/FileSystemShell.html#cp

解决这个问题的最佳方法是编写python或shell脚本-

相关问题