kubernetes spark-submit遇到PKIX路径构建失败

2g32fytz 于 2023-06-21 发布在 Kubernetes

关注(0)|答案(2)|浏览(205)

所以我在Google Kubernetes Engine上有一个集群节点，我做spark-submit来运行一些spark作业。（我没有使用spark-submit，我使用java代码启动submit，但它们本质上调用了相同的Scala类，即SparkSubmit.class）
在我的例子中，我有两个集群，我可以通过使用gcloud命令在我的笔记本电脑上连接它们。
例如

gcloud container clusters get-credentials cluster-1
gcloud container clusters get-credentials cluster-2
当我连接到cluster-1时，spark-submit正在提交到cluster-1，它可以工作。但是当我运行第二个gcloud命令并仍然提交到cluster-1时，它不起作用，并出现以下堆栈跟踪（删节版）

io.fabric8.kubernetes.client.KubernetesClientException: Failed to start websocket
at io.fabric8.kubernetes.client.dsl.internal.WatchConnectionManager$2.onFailure(WatchConnectionManager.java:194)
at okhttp3.internal.ws.RealWebSocket.failWebSocket(RealWebSocket.java:543)
at okhttp3.internal.ws.RealWebSocket$2.onFailure(RealWebSocket.java:208)
at okhttp3.RealCall$AsyncCall.execute(RealCall.java:148)
at okhttp3.internal.NamedRunnable.run(NamedRunnable.java:32)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
at java.lang.Thread.run(Thread.java:748)
Caused by: javax.net.ssl.SSLHandshakeException: sun.security.validator.ValidatorException: PKIX path building failed: sun.security.provider.certpath.SunCertPathBuilderException: unable to find valid certification path to requested target
at sun.security.ssl.Alerts.getSSLException(Alerts.java:192)
at sun.security.ssl.SSLSocketImpl.fatal(SSLSocketImpl.java:1949)
at sun.security.ssl.Handshaker.fatalSE(Handshaker.java:302)
at sun.security.ssl.Handshaker.fatalSE(Handshaker.java:296)
at sun.security.ssl.ClientHandshaker.serverCertificate(ClientHandshaker.java:1514)
at sun.security.ssl.ClientHandshaker.processMessage(ClientHandshaker.java:216)

我已经找了一段时间没有成功。主要问题可能是当spark-submit启动时，它会在本地机器上搜索与Kubernetes相关的某种凭证，而前两个gcloud命令更改的上下文将其搞乱。
我只是好奇，当我们进行spark提交时，远程K8s服务器是如何知道我是谁的？所有这些都涉及到什么认证过程？
先谢谢你。

kubernetes

来源：https://stackoverflow.com/questions/53341845/spark-submit-encounter-pkix-path-building-failed

2条答案

按热度按时间

vcirk6k61#

PKIX path building failed错误意味着Java尝试打开SSL连接，但无法找到验证服务器提供的证书的证书链（路径）。
您正在运行的代码不信任群集提供的证书。群集可能使用自签名证书。
从命令行运行时，Java在位于jre/lib/security/cacerts的信任库中查找链。作为较大环境（Tomcat、Glassfish等）的一部分运行时，它将使用该环境的证书信任库。
由于您是手动启动spark_submit的，因此可能会缺少一个选项来指定在何处查找密钥库（服务器证书和私钥）和信任库（CA证书）。这些通常被指定为：

-Djavax.net.ssl.trustStore=/somepath/truststore.jks 
-Djavax.net.ssl.keyStore=/somepath/keystore.jks

如果您运行的是Java 9+，则还需要指定StoreType：

-Djavax.net.ssl.keyStoreType=<TYPE>
-Djavax.net.ssl.trustStoreType=<TYPE>

直到Java 8，密钥库一直是JKS。从Java 9开始，它们也可以是PKCS 12。
对于自签名密钥，您可以将其从密钥库导出，并将其作为受信任证书导入到信任库中。有几个网站提供了如何做到这一点的说明。我觉得Jakob Jenkov's site非常可读。

赞(0）回复(0）举报 2023-06-21

0pizxfdo2#

如果您想了解gcloud container clusters get-credentials cluster-1命令的功能，可以重新从头开始并查看~/.kube/config的内容

rm -rf ~/.kube
gcloud container clusters get-credentials cluster-1
cat ~/.kube/config
gcloud container clusters get-credentials cluster-2
cat ~/.kube/config

有些东西可能不匹配或冲突。或者用户/上下文。也许您具有两个群集的凭据，但您正在使用cluster-1的上下文访问cluster-2

$ kubectl config get-contexts
$ kubectl config get-clusters

~/.kube/config文件的结构应该如下所示：

apiVersion: v1
clusters:
- cluster:
    certificate-authority-data: <redacted> or file
    server: https://<IP>:6443
  name: cluster-1
- cluster:
    certificate-authority: <redacted> or file
    server: https://<IP>:8443
  name: cluster-2
contexts:
- context:
    cluster: cluster-1
    user: youruser
  name: access-to-cluster-1
- context:
    cluster: cluster-2
    user: youruser
  name: access-to-cluster-2
current-context: access-to-cluster-1
kind: Config
preferences: {}
users:
- name: ....
  user:
   ...
- name: ....
  user:
   ...

在代码中，它看起来像是使用了io.fabric8.kubernetes.client.KubernetesClient库。例如，在此文件KubernetesDriverBuilder.scala中

赞(0）回复(0）举报 2023-06-21

我来回答

kubernetes spark-submit遇到PKIX路径构建失败

2条答案

相关问题

热门标签

最新问答