如何在hadoop中为同一输入参数传递多个文件

ssgvzors 于 2021-05-29 发布在 Hadoop

关注(0)|答案(1)|浏览(391)

我有两个输入文件，我需要在hadoop中传递同一参数下的两个文件。

EG: hadoop jar somemainclass -D testInput=file1,file2

我不想将这些文件合并为一个文件，因为它是根据某些用户条件使用的。我试过两次给出参数-d testinput，但只使用了最后一个文件，没有使用第一个文件。

1条答案

如果传递同一参数的多个示例，则第一个示例的值将被第二个示例的值覆盖。
通过用逗号分隔值，可以为同一参数指定多个值。
例如。

<property>
   <name>yarn.resourcemanager.zk-address</name>
   <value>zk1:2181,zk2:2181,zk3:2181</value>
 </property>

因此，在通过命令行传递值时，可以指定-dtestinput=file，file2