emr引导失败

y1aodyip  于 2021-05-27  发布在  Spark
关注(0)|答案(1)|浏览(360)

我试图在aws emr中运行以下引导脚本,但它失败了,没有提供错误消息。我已经为应用程序设置了emr集群:spark、hive、ganglia和livy。

!/垃圾箱/垃圾箱

sudo pip-3.6安装-u\matplotlib\pandas\spark nlp
我使用的是emr版本6。以前我们只使用了“pip”而不是“pip-3.6”,但是仍然出错,因此我们决定尝试使用“pip-3.6”,因为我们假设emr 6有python 3.6。
请告诉我这有什么问题。
谢谢!

1mrurvl1

1mrurvl11#

您可以尝试在正在运行的emr集群上运行脚本,以确保其正常工作。emr6的emr发行说明建议默认使用python3。https://docs.aws.amazon.com/emr/latest/releaseguide/emr-release-6x.html
在快速检查它似乎是来与Python3.7。这就是为什么你的脚本可能不起作用。因此需要使用pip3或/usr/bin/pip-3.7(指定完整路径,可能没有为pip-3.7设置别名)
因此,请尝试使用
$sudo pip3安装matplotlib。。。

$sudo python-m pip3安装matplotlib。。。

相关问题