(极端初学者)conda env config vars:潜在的意外后果?

aydmsdu9  于 2021-07-09  发布在  Spark
关注(0)|答案(0)|浏览(250)

我在Windows10x64上使用Anaconda3。我使用这里的说明(请参阅“设置环境变量”)来设置特定于两个特定conda环境的环境变量,其中一个是我的基本环境。
到目前为止,这似乎是伟大的工作;每个环境都通过使用我想要的环境变量来提供我想要的结果。不仅如此,我似乎能够在不同的应用中同时使用它们,而没有任何“交叉污染”
然而,我在想,我这样做是否会造成任何潜在的意外后果或养成坏习惯。如果有的话,那些意想不到的后果或坏习惯会是什么?
可能(不)重要的细节:我的特定应用程序涉及这样一个事实:我想使用两个python模块:
(在我的基本环境中)pyspark(从apache网站下载spark时附带的版本)
(在另一个环境中)databricks connect(安装到名为“pyspark”的文件夹中,与pyspark不兼容)
为了让#1正常工作,除了设置一些环境变量外,我还没有找到其他选择,包括指向我的spark安装目录的一个名为spark#u home的最小环境变量,以及一个名为pythonpath的环境变量,其中包括spark#u home的“python”子目录。为了避免这种情况,我尝试了一些建议(我很乐意参与),但没有成功(也许findspark可以帮我?我试了一下)。然而,一旦我使用windows界面(特别是我认为的pythonpath接口)设置了这些变量,databricks connect就不能在任何环境下工作了。这对我来说很有意义,因为我猜它是在spark\u home\python中寻找pyspark?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题