在hadoop的java中创建combinefilesplit?

fsi0uk1n  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(330)

combinefilesplit有一个构造函数:

CombineFileSplit(Path[] files, long[] start, long[] lengths, String[] locations)

位置数组是否需要与文件数组的大小相同,因为文件可以驻留在许多位置/节点中?

w46czmvw

w46czmvw1#

位置数组不必与文件数组的大小相同,因为从filesplit的构造函数:public filesplit(path file,long start,long length,string[]hosts)可以得出结论,一个文件可以有许多位置/主机。另外,如果看到combinefilesplit构造函数的源代码,可以传递一个空字符串数组。我认为locations数组是供您使用的,因此如果您知道文件的位置,您可以提供它或传递空字符串。

相关问题