环境:
aws电子病历5.20.0
Spark2.4.0
jupyterhub酒店
nginx反向代理
问题:
用户登录到我们的代理并被定向到aws emr集群上的jupyterhub示例。他们创建了一个带有pyspark3内核的jupyter笔记本,并启动了一个spark示例。
前任: help(spark)
结果:
Starting Spark application
ID YARN Application ID Kind State Spark UI Driver log Current session?
55 application_0056 pyspark3 idle Link Link ✔
用户点击任何一个链接,并被定向到一个被阻止的aws内部地址。
我希望这些链接将用户指向nginx代理,这样它就可以授权并将它们重定向到spark ui,因为代理可以通过安全组访问这些url。
预期结果:
从用户的Angular 来看,他们会点击jupyter笔记本中的链接,最终到达spark ui,它将位于nginx代理之后。
目前,spark ui链接将引导用户:http://ip-1-2-3-4:20888/代理/应用程序\u 0056
我想把它定义为https://proxy.company.org/spark/proxy/application_0056
预期解决方案:
我尝试了我在网上找到的不同的解决方案,使用aws emr配置来定义下面的内容,但是没有成功,spark ui链接保持不变,不管我向emr集群提交了什么。
[
{
"classification":"spark-defaults",
"properties":{
"spark.ui.reverseProxy":"true",
"spark.ui.proxyBase":"/spark",
"spark.ui.reverseProxyUrl":"https://proxy.company.org"
}
}
]
任何帮助或想法将不胜感激。
暂无答案!
目前还没有任何答案,快来回答吧!