我正在用hadoop安全凭据提供程序存储我的s3凭据。
当我跑的时候 distcp
我可以将路径传递给凭据提供程序,如下所示: -Dfs.s3a.security.credential.provider.path=jceks://hdfs/foo/bar/s3.jceks
我想对map reduce作业执行同样的操作,这样它就可以直接写入s3。
我试过设置这个属性 configuration.set("fs.s3a.security.credential.provider.path", "path_to_provider");
在我的Map减少工作,但那没有工作。
是的,我知道我可以从终端以明文形式传递它们,或者将它们以明文形式存储在 core-site.xml
,我问这个问题的原因正是因为我不想那样做。
谢谢你的建议。
暂无答案!
目前还没有任何答案,快来回答吧!