我使用spark和java来做一个简单的kmeans和/或线性回归计算。
提交作业后，spark挂在“adding task set 0.0 with 4 tasks resource profile 0”行上，spark ui显示没有正在运行的应用程序。我在独立模式下在gpu服务器上运行主服务器和1个工作服务器。
spark提交

spark-submit                                            \
--class com.spark.DataProcessor                         \
--jars ${SPARK_CUDF_JAR},${SPARK_RAPIDS_PLUGIN_JAR}     \
--conf spark.rapids.sql.incompatibleOps.enabled=true     \
--conf spark.executor.resource.gpu.amount=1              \
--conf spark.task.resource.gpu.amount=1                  \
/home/centos/.m2/repository/com/JavaSpark/1.0-SNAPSHOT/JavaSpark-1.0-SNAPSHOT.jar

日志

21/03/30 04:45:43 INFO SparkContext: Created broadcast 1 from broadcast at DAGScheduler.scala:1383
21/03/30 04:45:43 INFO DAGScheduler: Submitting 4 missing tasks from ResultStage 0 (MapPartitionsRDD[7] at map at MLUtils.scala:92) (first 15 tasks are for partitions Vector(0, 1, 2, 3))
21/03/30 04:45:43 INFO TaskSchedulerImpl: Adding task set 0.0 with 4 tasks resource profile 0

规格
我用的是aws ec2 g4dn机器。

GPU: TU104GL [Tesla T4]   
15109MiB  
Driver Version: 460.32.03  
CUDA Version: 11.2

1 worker: 1 core, 10GB of memory.