简介
我已经在aws上创建了一个小Spark簇。主服务器是一个t2.small（1核，1gb ram）按需服务器，1个worker是一个spot示例m5.2xlarge（48 vcpu，30gb ram）
spark版本2.2.1，带aws-java-sdk-1.7.4
spark-defaults.conf:默认值： spark.hadoop.fs.s3a.impl=org.apache.hadoop.fs.s3a.S3AFileSystem 主spark-env.sh： export SPARK_MASTER_HOST=10.0.129.94 export SPARK_WORKER_PORT=7080 工人spark-env.sh： export SPARK_WORKER_PORT=7080 主入站安全组：

工人入站安全组：

主专用ip:10.0.129.94（sparkmaster主机名）
工人专用ip:10.0.129.210（sparkslave主机名）
spark提交命令： spark-submit --jars /home/torqmo/spark-2.2.1-bin-hadoop2.7/jars/commons-cli-1.2.jar,/home/torqmo/spark-2.2.1-bin-hadoop2.7/jars/hadoop-common-2.7.3.jar,/home/torqmo/spark-2.2.1-bin-hadoop2.7/jars/hadoop-mapreduce-client-core-2.7.3.jar,/home/torqmo/spark-2.2.1-bin-hadoop2.7/jars/hadoop-aws-2.7.3.jar,/home/torqmo/spark-2.2.1-bin-hadoop2.7/jars/aws-java-sdk-1.7.4.jar --master spark://SparkMaster:7077 --executor-memory 2G --executor-cores 3 converter/convert.py --from-hour /2018/01/17/15/ ps辅助主机： torqmo 22170 0.3 8.5 3033396 174428 ? Sl 10:34 0:09 /usr/lib/jvm/java-8-oracle/jre/bin/java -cp /home/torqmo/spark-2.2.1-bin-hadoop2.7/conf/:/home/torqmo/spark-2.2.1-bin-hadoop2.7/jars/* -Xmx1g org.apache.spark.deploy.master.Master --host 10.0.129.94 --port 7077 --webui-port 8080 ps辅助工作者： torqmo 6043 0.2 1.6 6767740 536740 ? Sl 10:32 0:07 /usr/lib/jvm/java-8-oracle/jre/bin/java -cp /home/torqmo/spark-2.2.1-bin-hadoop2.7/conf/:/home/torqmo/spark-2.2.1-bin-hadoop2.7/jars/* -Xmx1g org.apache.spark.deploy.worker.Worker --webui-port 8081 --port 7080 spark://SparkMaster:7077 问题
我只是想给它一个pyspark脚本，将一个bucket中的json文件转换成parquet到另一个bucket。
我已经检查了双方通过telnet的防火墙访问，并参考了以下文档：https://spark.apache.org/docs/latest/security.html#configuring-网络安全端口
网络方面一切正常，telnet显示端口正常打开。
MasterWebUI和WorkerUI都显示可用的资源，它们没有全部占用，我看到活动的worker，我看到正在运行的作业，WorkerUI上没有标准，但是我得到了这个等待状态。。。
如何进一步调试？我看到这么多线程在这里关于这个问题，但经过检查一打-他们都不是我的情况。
谢谢你的帮助！