修复名称“sc”不是通过使用相关帖子error=>runtimeerror中提到的解决方案定义的:implement\u array\u function方法已具有docstring。
在用spark配置jupyter笔记本之后,我很兴奋地开始使用spark进行数据分析。但第一个问题是“sc”这个名字没有定义。我相信在sparkshell中,你不需要初始化任何东西,而在笔记本中,如果我错了,请纠正我(从阅读错误帖子中收集)。所以我使用了jupyter笔记本namererror的解决方案:name'sc'没有定义,spark context'sc'没有定义,其他相关的帖子也没有。所有人都给了我相同的错误runtimeerror:implement\u array\u function方法已经有一个docstring
所以进一步的调查让我认为spark进程可能不是在后台运行的。所以在我开始Pypark之前,我跑了 ./sbin/start-all.sh
从主人和工人开始
带着乐观的心情,我重新开始了pysprak,但运气不佳,还是犯了同样的错误。如果您需要任何额外的文件/详细信息,请发表评论。
更新1:这次我在运行pyspark命令之前启动了hadoop和spark。我在终端文件处理错误中得到了一些错误描述
更新2:最后一次机会,我决定卸载spark2.0.1-bin-hadoop2.7并安装用hadoop预加载的spark。卸载spark错误
谢谢你的帮助。提前谢谢!!
暂无答案!
目前还没有任何答案,快来回答吧!