如何将hadoop凭据提供程序路径传递到mapreduce作业?

ubbxdtey  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(212)

我正在用hadoop安全凭据提供程序存储我的s3凭据。
当我跑的时候 distcp 我可以将路径传递给凭据提供程序,如下所示: -Dfs.s3a.security.credential.provider.path=jceks://hdfs/foo/bar/s3.jceks 我想对map reduce作业执行同样的操作,这样它就可以直接写入s3。
我试过设置这个属性 configuration.set("fs.s3a.security.credential.provider.path", "path_to_provider"); 在我的Map减少工作,但那没有工作。
是的,我知道我可以从终端以明文形式传递它们,或者将它们以明文形式存储在 core-site.xml ,我问这个问题的原因正是因为我不想那样做。
谢谢你的建议。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题