我正在为spark编写一个google大查询连接器,它下面使用googlehadoop连接器。
目前googlehadoop连接器需要一个指向creds json文件的googleenv变量。
当您在dataproc世界之外启动集群时,这可能会很烦人
在代码中实时设置它是一种不好的做法吗?或者有没有一个解决方法来告诉hadoop连接器忽略env变量,因为它是在“fs.gs.auth.service.account.json.keyfile”hadoop配置中设置的?
丹尼斯既然你是这个项目的贡献者,也许这次你也能帮上忙?
1条答案
按热度按时间ckx4rj1h1#
对于那些感兴趣的人,我只是在scala中使用下面的要点在运行时设置它们
https://gist.github.com/jaytaylor/770bc416f0dd5954cf0f
但这是代码,以防gist离线
}