我用pyspark（Spark 3.0）写了一个pytest案例，用来阅读一个文件并获取 Dataframe 的计数，但是我看不到spark UI，我得到了一个OOM错误。解决方案是什么？如何在看不到spark UI的情况下进行调试？
acruukt91#
将所有测试 Package 在shell脚本中，并在python代码中调用该shell脚本然后使用spark-submit python.py调用
spark-submit python.py
1条答案
按热度按时间acruukt91#
将所有测试 Package 在shell脚本中，并在python代码中调用该shell脚本
然后使用
spark-submit python.py调用