在本地模式下运行时,我遇到了pyspark的问题。棘手的是,当我打开cmd并运行pyspark时,它会创建一个会话,然后如果我打开localhost:4040 i 可以看到ui。但是,如果我从pycharm运行一些程序,我就无法访问ui(localhost:4040)也不会生成url。
在另一种情况下,当我与pycharm程序并行打开pyspark shell时,如果我在pycharm中运行相同的程序,我将得到一个警告,说明无法绑定端口4040,因此尝试4041。这是可以理解的,因为shell已经占用了端口4040,所以它正在尝试4041。因此,理想情况下应该分配4041,但事实并非如此。正如文档所说,它尝试了16次,以获得下一个可用的自由端口号,我还没有分配任何。因此,如果我看到当前在我的pc上运行的服务,我可以看到它们都没有使用这些端口。
请帮帮我。
1条答案
按热度按时间qlvxas9a1#
可能会出现警告“端口4040不可用,正在尝试4041”和forawrd…,因为您打开了大量sparkcontext而没有关闭它们。(sparkcontext#close)。
如果需要,可以通过配置中的spark.ui.port参数更改端口。
对于你的第一期,你能提供运行spark应用程序的日志吗?也许你正在运行一个快速的程序,在你进入之前关闭网页界面的速度足够快?