kubernetes spark-submit遇到PKIX路径构建失败

2g32fytz  于 2023-06-21  发布在  Kubernetes
关注(0)|答案(2)|浏览(204)

所以我在Google Kubernetes Engine上有一个集群节点,我做spark-submit来运行一些spark作业。(我没有使用spark-submit,我使用java代码启动submit,但它们本质上调用了相同的Scala类,即SparkSubmit.class)
在我的例子中,我有两个集群,我可以通过使用gcloud命令在我的笔记本电脑上连接它们。
例如

  1. gcloud container clusters get-credentials cluster-1
  2. gcloud container clusters get-credentials cluster-2
    当我连接到cluster-1时,spark-submit正在提交到cluster-1,它可以工作。但是当我运行第二个gcloud命令并仍然提交到cluster-1时,它不起作用,并出现以下堆栈跟踪(删节版)
io.fabric8.kubernetes.client.KubernetesClientException: Failed to start websocket
at io.fabric8.kubernetes.client.dsl.internal.WatchConnectionManager$2.onFailure(WatchConnectionManager.java:194)
at okhttp3.internal.ws.RealWebSocket.failWebSocket(RealWebSocket.java:543)
at okhttp3.internal.ws.RealWebSocket$2.onFailure(RealWebSocket.java:208)
at okhttp3.RealCall$AsyncCall.execute(RealCall.java:148)
at okhttp3.internal.NamedRunnable.run(NamedRunnable.java:32)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
at java.lang.Thread.run(Thread.java:748)
Caused by: javax.net.ssl.SSLHandshakeException: sun.security.validator.ValidatorException: PKIX path building failed: sun.security.provider.certpath.SunCertPathBuilderException: unable to find valid certification path to requested target
at sun.security.ssl.Alerts.getSSLException(Alerts.java:192)
at sun.security.ssl.SSLSocketImpl.fatal(SSLSocketImpl.java:1949)
at sun.security.ssl.Handshaker.fatalSE(Handshaker.java:302)
at sun.security.ssl.Handshaker.fatalSE(Handshaker.java:296)
at sun.security.ssl.ClientHandshaker.serverCertificate(ClientHandshaker.java:1514)
at sun.security.ssl.ClientHandshaker.processMessage(ClientHandshaker.java:216)

我已经找了一段时间没有成功。主要问题可能是当spark-submit启动时,它会在本地机器上搜索与Kubernetes相关的某种凭证,而前两个gcloud命令更改的上下文将其搞乱。
我只是好奇,当我们进行spark提交时,远程K8s服务器是如何知道我是谁的?所有这些都涉及到什么认证过程?
先谢谢你。

vcirk6k6

vcirk6k61#

PKIX path building failed错误意味着Java尝试打开SSL连接,但无法找到验证服务器提供的证书的证书链(路径)。
您正在运行的代码不信任群集提供的证书。群集可能使用自签名证书。
从命令行运行时,Java在位于jre/lib/security/cacerts的信任库中查找链。作为较大环境(Tomcat、Glassfish等)的一部分运行时,它将使用该环境的证书信任库。
由于您是手动启动spark_submit的,因此可能会缺少一个选项来指定在何处查找密钥库(服务器证书和私钥)和信任库(CA证书)。这些通常被指定为:

-Djavax.net.ssl.trustStore=/somepath/truststore.jks 
-Djavax.net.ssl.keyStore=/somepath/keystore.jks

如果您运行的是Java 9+,则还需要指定StoreType:

-Djavax.net.ssl.keyStoreType=<TYPE>
-Djavax.net.ssl.trustStoreType=<TYPE>

直到Java 8,密钥库一直是JKS。从Java 9开始,它们也可以是PKCS 12。
对于自签名密钥,您可以将其从密钥库导出,并将其作为受信任证书导入到信任库中。有几个网站提供了如何做到这一点的说明。我觉得Jakob Jenkov's site非常可读。

0pizxfdo

0pizxfdo2#

如果您想了解gcloud container clusters get-credentials cluster-1命令的功能,可以重新从头开始并查看~/.kube/config的内容

rm -rf ~/.kube
gcloud container clusters get-credentials cluster-1
cat ~/.kube/config
gcloud container clusters get-credentials cluster-2
cat ~/.kube/config

有些东西可能不匹配或冲突。或者用户/上下文。也许您具有两个群集的凭据,但您正在使用cluster-1的上下文访问cluster-2

$ kubectl config get-contexts
$ kubectl config get-clusters

~/.kube/config文件的结构应该如下所示:

apiVersion: v1
clusters:
- cluster:
    certificate-authority-data: <redacted> or file
    server: https://<IP>:6443
  name: cluster-1
- cluster:
    certificate-authority: <redacted> or file
    server: https://<IP>:8443
  name: cluster-2
contexts:
- context:
    cluster: cluster-1
    user: youruser
  name: access-to-cluster-1
- context:
    cluster: cluster-2
    user: youruser
  name: access-to-cluster-2
current-context: access-to-cluster-1
kind: Config
preferences: {}
users:
- name: ....
  user:
   ...
- name: ....
  user:
   ...

在代码中,它看起来像是使用了io.fabric8.kubernetes.client.KubernetesClient库。例如,在此文件KubernetesDriverBuilder.scala

相关问题