在K8S Spark Operator中，提交的作业卡在Java线程，在以下命令中没有错误详细信息：
/opt/tools/Linux/jdk/www.example.com_www.example.com_x64/bin/java-cp/opt/spark/conf/：/opt/spark/jars/ org。ApacheSpark部署SparkSubmit*--master k8s：//https：//x.y.z. a：443--deploy-mode cluster--conf spark. Kubernetes。集装箱形象。pullPolicy = IfNotPresent--conf spark。遗嘱执行人memory = 512m--conf spark.司机memory = 512m--conf spark。网络。密码enabled = true--conf spark。司机。cores = 0.100000--conf spark. IO加密。enabled = true--conf spark。Kubernetes。司机极限cores = 200m--conf spark. Kubernetes。司机。标签version = 3.0.1--conf www.example.com = sparkimpersonationx42aa8bff--conf spark. Kubernetes。屈服waitAppCompletion = false--conf spark.遗嘱执行人cores = 1--conf spark。authenticate = true--conf openjdk1.8.0.332_8.62.0.20_x64/bin/java -cp /opt/spark/conf/:/opt/spark/jars/ org.apache.spark.deploy.SparkSubmit*--master k8s://https://x.y.z.a:443 --deploy-mode cluster --conf spark.kubernetes.container.image.pullPolicy=IfNotPresent --conf spark.executor.memory=512m --conf spark.driver.memory=512m --conf spark.network.crypto.enabled=true --conf spark.driver.cores=0.100000 --conf spark.io.encryption.enabled=true --conf spark.kubernetes.driver.limit.cores=200m --conf spark.kubernetes.driver.label.version=3.0.1 --conf spark.app.name =sparkimpersonationx42aa8bff --conf spark.kubernetes.submission.waitAppCompletion=false --conf spark.executor.cores=1 --conf spark.authenticate=true --conf www.example.com --conf spark.kubernetes.namespace=abc --conf spark.kubernetes.container.image=placeholder:94 --conf spark.kubernetes.executor.label.sparkoperator.k8s.io/launched-by-spark-operator=true--conf spark.kubernetes.driver.label.sparkoperator.k8s.io/submission-id=b651fb42-90fd-4675-8e2f-9b4b6e380010 --conf spark.kubernetes.executor.label.sparkoperator.k8s.io/app-name=sparkimpersonationx42aa8bff --conf spark.kubernetes.executor.label.sparkoperator.k8s.io/submission-id=b651fb42-90fd-4675-8e2f-9b4b6e380010 --conf spark.kubernetes.driver.pod.name =sparkimpersonationx42aa8bff-driver --conf spark.kubernetes.authenticate.driver.serviceAccountName=spark-driver-abc --conf spark.executor.instances=1 --conf spark.kubernetes.executor.label.version=3.0.1 --conf spark.kubernetes.driver.label.sparkoperator.k8s.io/app-name=sparkimpersonationx42aa8bff --class org.apache.spark.examples.SparkPi --jars local:///sample-apps/sample-basic-spark-operator/extra-jars/* local:///sample-apps/sample-basic-spark-operator/sample-basic-spark-operator.jar
2条答案
按热度按时间wsxa1bj11#
根据现有信息，其原因可能是：
1.无法在您的k8s节点上调度工作负载pod。你可以用
kubectl get pods来检查，pod是Running吗？1.已达到资源限制，Pod无响应。
1.Spark操作符本身可能没有运行。您应该检查操作员本身的日志。
这就是我所能说的从什么是可用的。
neekobn82#
运行下面的命令查看spark应用程序列表。您还将在输出中看到应用程序的状态。
。如果上面的输出状态是running以外的任何状态，那么您可以选择该spark应用程序并对其进行描述
如果您的应用程序处于运行状态，只需检查驱动程序和执行器Pod的日志。