pyspark pip安装不同版本

bvhaajcl  于 2023-05-06  发布在  Spark
关注(0)|答案(2)|浏览(235)

我正在尝试安装pypandoc 1.4或更高版本。我将此需求包含在requirements.txt文件中。我相信这就是PySpark安装失败的原因。
我的pip安装命令:

python -m pip install -r requirements.txt --ignore-installed --exists-action=w --disable-pip-version-check --no-warn-script-location

输出:

dhxwm5r4

dhxwm5r41#

在你的屏幕截图中,你正在安装pypandoc 1.11(它比1.1更新,因为版本组件是分开比较的,11〉1)。
然而,这里的问题是pypandoc还没有被安装,它只是被下载;如果构建pyspark需要它,则需要首先单独安装它。(它应该被声明为pyspark的构建依赖项,但pyspark 2.4.5已经3年了,所以我怀疑他们会修复这个问题)。
也就是说,先单独安装pypandoc>1.4,然后再试一次;此时pypandoc应该可以通过pyspark的setup.py导入。
如果仍然失败并出现相同的症状,您可能需要添加--no-build-isolation

s1ag04yj

s1ag04yj2#

查看requirements.txt文件,看看它是否在那里指定了pypandoc版本。要确保pip安装正确版本的pypandoc,请确保您的requirements.txt文件包含版本约束:

pypandoc>=1.4

如果您仍然遇到问题,您可以尝试使用以下命令直接安装pypandoc:

python -m pip install "pypandoc>=1.4"

如果这样做有效,您可以尝试使用您提供的原始pip install命令在requirements.txt文件中安装其他依赖项。
如果您仍然遇到相同的问题,您可以尝试使用以下命令升级pip和setuptools:

python -m pip install --upgrade pip setuptools

...然后再次尝试安装依赖项。

相关问题