无法让pip安装在emr群集上工作

guykilcj  于 2021-05-27  发布在  Spark
关注(0)|答案(2)|浏览(537)

我有一个emr(emr-5.30.0)集群,我试图从s3中的引导文件开始。引导文件的内容包括:


# !/bin/bash

sudo pip3 install --user \
     matplotlib \
     pandas \
     pyarrow \
     pyspark

我的stderr文件中的错误是:

WARNING: Running pip install with root privileges is generally not a good idea. Try `pip3 install --user` instead.
Command "python setup.py egg_info" failed with error code 1 in /mnt/tmp/pip-build-br9bn1h3/pyspark/

看起来很简单…不知道发生了什么。感谢您的帮助。
编辑:
尝试了@dennis traub的建议,得到了同样的错误。新的emr引导程序如下所示:


# !/bin/bash

sudo pip3 install --upgrade setuptools
sudo pip3 install --user matplotlib pandas pyarrow pyspark
xoshrz7s

xoshrz7s1#


# !/bin/bash

sudo python3 -m pip install matplotlib pandas pyarrow

不要安装 pyspark . 它应该已经存在于emr中,并且具有必需的配置。安装可能会导致问题。

qlfbtfca

qlfbtfca2#

您可能有一个过时版本的setuptools。请尝试以下脚本:


# !/bin/bash

sudo pip3 install --upgrade setuptools
sudo pip3 install --user matplotlib pandas pyarrow pyspark

相关问题