我正在尝试在spark和oracle以及sqoop和oracle之间建立安全连接。经过我的研究,我发现了两个不同的选择,为两个不同的设置。
将spark连接到oracle,在oracle中使用 spark.jdbc.b64password
此外,它在spark代码中被解密,并在jdbc url中使用。
使用hadoop凭据提供程序创建密码文件,并在sqoop中进一步用于连接到oracle。
现在在两个不同的文件中保存密码似乎不是一个好的做法。我的问题是,我们可以使用spark中的hadoop凭证提供者来使用为sqoop创建的相同凭证配置文件吗?
如果您有任何其他选择,使这更好,请帮助。
3条答案
按热度按时间aiazj4mn1#
你也可以让Spark点燃
hadoop.security.credential.provider.path
在hadoop配置中:wswtfjt72#
您可以使用spark支持的所有语言从代码中读取jecks密码:
Python:
在上面的代码中,您将获得密码字符串
passw
斯卡拉:tjvv9vkg3#
推荐的方法是在spark和hadoop以及oracle中使用kerberos身份验证。oraclejdbc瘦驱动程序支持kerberos身份验证。然后使用一个kerberos主体对从spark或hadoop到oracle数据库的所有用户进行身份验证。