有没有办法找出数据块集群上的驱动程序IP是什么？Ganglia UI在主页上显示所有节点，似乎没有办法只过滤驱动程序。
5f0d552i1#
您可以进入集群内的Spark cluster UI - Master选项卡。列出的url包含驱动程序的IP，工作者的IP在底部列出。
Spark cluster UI - Master
根据您的用例，了解在init脚本中可以从环境变量获取DB_DRIVER_IP可能会有所帮助。https://docs.databricks.com/clusters/init-scripts.html#environment-variables在运行时还有其他的环境变量可以在scala notebook中访问：
System.getenv.get("MASTER") // spark://10.255.128.6:7077 System.getenv.get("SPARK_LOCAL_IP") // 10.255.128.6
1条答案
按热度按时间5f0d552i1#
您可以进入集群内的
Spark cluster UI - Master选项卡。列出的url包含驱动程序的IP，工作者的IP在底部列出。根据您的用例，了解在init脚本中可以从环境变量获取DB_DRIVER_IP可能会有所帮助。https://docs.databricks.com/clusters/init-scripts.html#environment-variables
在运行时还有其他的环境变量可以在scala notebook中访问：