我看到我的Spark应用程序正在使用FAIR调度程序：
但我不能确定它是否使用了我设置的两个池（pool 1，pool 2）。下面是我在PySpark中实现的一个线程函数，它被调用了两次-一次使用“pool 1”，另一次使用“pool 2”。
def do_job(f1, f2, id, pool_name, format="json"):
spark.sparkContext.setLocalProperty("spark.scheduler.pool", pool_name)
...我以为“Stages”菜单应该显示游泳池信息，但我没有看到它。这是否意味着游泳池设置不正确或我看错了地方？
我在EMR 6.9.0上使用PySpark 3.3.0
1条答案
按热度按时间fumotvh31#
你可以像这个图表一样确认。
pls refer my article I created 3 pools like module1 module2 module3 based on certin logic。每个都使用上面的特定pool.like..基于此，我创建了下面的图表
注意：请参阅我给出的文章中的验证步骤