如何定义spark ui和驱动程序日志url,以便它们直接命中我的代理而不是spark主机

vzgqcmou  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(485)

环境:
aws电子病历5.20.0
Spark2.4.0
jupyterhub酒店
nginx反向代理
问题:
用户登录到我们的代理并被定向到aws emr集群上的jupyterhub示例。他们创建了一个带有pyspark3内核的jupyter笔记本,并启动了一个spark示例。
前任: help(spark) 结果:

Starting Spark application

ID  YARN Application ID Kind        State   Spark UI    Driver log  Current session?
55  application_0056    pyspark3    idle    Link        Link        ✔

用户点击任何一个链接,并被定向到一个被阻止的aws内部地址。
我希望这些链接将用户指向nginx代理,这样它就可以授权并将它们重定向到spark ui,因为代理可以通过安全组访问这些url。
预期结果:
从用户的Angular 来看,他们会点击jupyter笔记本中的链接,最终到达spark ui,它将位于nginx代理之后。
目前,spark ui链接将引导用户:http://ip-1-2-3-4:20888/代理/应用程序\u 0056
我想把它定义为https://proxy.company.org/spark/proxy/application_0056
预期解决方案:
我尝试了我在网上找到的不同的解决方案,使用aws emr配置来定义下面的内容,但是没有成功,spark ui链接保持不变,不管我向emr集群提交了什么。

[
    {
        "classification":"spark-defaults",
        "properties":{
            "spark.ui.reverseProxy":"true",
            "spark.ui.proxyBase":"/spark",
            "spark.ui.reverseProxyUrl":"https://proxy.company.org"
        }
    }
]

任何帮助或想法将不胜感激。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题