使用newhadooprdd时如何给出文件名？

jjjwad0x 于 2021-05-27 发布在 Spark

关注(0)|答案(1)|浏览(354)

我试图在spark中使用newapihadooprdd函数，但是我发现构造函数中没有采用文件名的参数。那么，在这种情况下如何设置文件名呢？

Java scala apache-spark

来源：https://stackoverflow.com/questions/40318491/how-to-give-file-name-when-using-newhadooprdd

1条答案

按热度按时间

vkc1a9a21#

这是使用配置的 org.apache.hadoop.conf.Configuration 细节取决于 InputFormat 你用的。例如 TextInputFormat 使用 mapred.input.dir .
一般来说，如果你想使用基于文件的源代码使用 newAPIHadoopFile .

赞(0）回复(0）举报 2021-05-27

我来回答

使用newhadooprdd时如何给出文件名？

1条答案

相关问题

热门标签

最新问答