hadoop配置

bhmjp9jg 于 2021-05-29 发布在 Hadoop

关注(0)|答案(2)|浏览(310)

为了从amazons3读/写数据，我在用sparkr配置hadoop时遇到了一些问题。
例如，这些是在pyspark中工作的命令（用于解决相同的问题）：

sc._jsc.hadoopConfiguration().set("fs.s3n.impl","org.apache.hadoop.fs.s3native.NativeS3FileSystem")
sc._jsc.hadoopConfiguration().set("fs.s3n.awsAccessKeyId", "myaccesskey")
sc._jsc.hadoopConfiguration().set("fs.s3n.awsSecretAccessKey", "mysecretaccesskey")
sc._jsc.hadoopConfiguration().set("fs.s3n.endpoint", "myentrypoint")

有人能帮我解决这个问题吗？

hadoop apache-spark amazon-s3 r sparkr

来源：https://stackoverflow.com/questions/32797247/hadoop-configuration-in-sparkr

2条答案

按热度按时间

g6baxovj1#

可以通过使用 callJMethod (https://github.com/apache/spark/blob/master/r/pkg/r/backend.r#l31)

> hConf = SparkR:::callJMethod(sc, "hadoopConfiguration")
> SparkR:::callJMethod(hConf, "set", "a", "b")
NULL
> SparkR:::callJMethod(hConf, "get", "a")
[1] "b"

更新： hadoopConfiguration 不适合我： conf 不过很管用-大概是在某个时候变了。

赞(0）回复(0）举报 2021-05-30

eoigrqb62#

你可以设置

<property>
    <name>fs.s3n.impl</name>
    <value>org.apache.hadoop.fs.s3native.NativeS3FileSystem</value>
</property>

在core-site.xml（Yarn配置）中

赞(0）回复(0）举报 2021-05-30

我来回答

hadoop配置

2条答案

相关问题

热门标签

最新问答