我有一个spark任务，它从一个bucket读取json数据，然后写入另一个bucket。每个bucket身份验证机制都是不同的。读取源数据时必须使用iam权限，写入数据时必须使用oauth身份验证。
我的脚步像是，
身份验证为iam
sprak.read.json文件
通过oauth验证
数据框写入
在spark中，文件的实际读取仅在我们写入数据时发生。由于第三步更改了sparkcontext身份验证值，因此使用这种方法在写入数据时面临身份验证问题。
有什么办法解决我的问题吗？