我试图在spark中使用newapihadooprdd函数,但是我发现构造函数中没有采用文件名的参数。那么,在这种情况下如何设置文件名呢?
vkc1a9a21#
这是使用配置的 org.apache.hadoop.conf.Configuration 细节取决于 InputFormat 你用的。例如 TextInputFormat 使用 mapred.input.dir .一般来说,如果你想使用基于文件的源代码使用 newAPIHadoopFile .
org.apache.hadoop.conf.Configuration
InputFormat
TextInputFormat
mapred.input.dir
newAPIHadoopFile
1条答案
按热度按时间vkc1a9a21#
这是使用配置的
org.apache.hadoop.conf.Configuration
细节取决于InputFormat
你用的。例如TextInputFormat
使用mapred.input.dir
.一般来说,如果你想使用基于文件的源代码使用
newAPIHadoopFile
.