我试图在hdp2.2中使用ipython和spark,但似乎只有python2.7支持ipython。我已经安装了spark并进行了很好的测试,但是在使用yum命令安装ipython之后,python的版本出现了问题。
[root@sandbox spark12]# ipython
Python 2.6.6 (r266:84292, Jan 22 2014, 09:42:36)
Type "copyright", "credits" or "license" for more information.
IPython 0.13.2 -- An enhanced Interactive Python.
? -> Introduction and overview of IPython's features.
%quickref -> Quick reference.
help -> Python's own help system.
object? -> Details about 'object', use 'object??' for extra details.
ipython单独运行,但当我尝试将其与Pypark一起使用时:
[root@sandbox spark12]# IPYTHON=1 ./bin/pyspark
IPython requires Python 2.7+; please install python2.7 or set PYSPARK_PYTHON
我想知道如何将python2.6更新到2.7。系统似乎阻止我卸载python2.6。我觉得python和hadoop系统是集成的,很难单独更新。
2条答案
按热度按时间eivgtgni1#
python没有与hadoop系统集成。
python 2.6.6是centos 6.5/rhel 6的默认版本。
在任何情况下都不应尝试卸载/更新默认版本,因为它具有系统依赖性。
您可以安装一个更新的python版本作为现有版本的替代。使用新版本启动ipython。
j1dl9f462#
有点晚,我知道,但我有一个类似的问题,使用centos。
我可以通过下载anaconda发行版的python2.7版本相对容易地解决这个问题
wget http://repo.continuum.io/archive/Anaconda2-2.5.0-Linux-x86_64.sh
什么时候下载的bash Anaconda2-2.5.0-Linux-x86_64.sh
按照说明-选择一个安装anaconda的位置并将此位置添加到您的路径中。完成后,键入
source ~/.bashrc
然后你就可以用pyspark运行ipython了[user@quickstart ~]$ IPYTHON_OPTS="notebook" $SPARK_HOME/bin/pyspark [I 09:43:06.241 NotebookApp] Serving notebooks from local directory: /home/user [I 09:43:06.241 NotebookApp] 0 active kernels [I 09:43:06.241 NotebookApp] The Jupyter Notebook is running at: http://localhost:8888/