apache spark 3 gpu群集

xqnpmsa8  于 2021-05-27  发布在  Spark
关注(0)|答案(1)|浏览(978)

我对apachespark很陌生。在我试验之前 Dask , Ray ,和 Horovod 它可以很容易地创建gpu集群。我正在使用 Apache Spark 3.0 (增加了nvidiagpu支持),但是在创建gpu集群时遇到了问题。我试图配置 spark-defaults.conf 具体如下:

spark.executor.resource.gpu.amount 1

# spark.task.resource.gpu.amount    0.25

# spark.executor.resource.gpu.discoveryScript ./getGpusResources.sh

Jmeter 板上的状态 waiting . 如何创建gpu集群?

bq3bfh9z

bq3bfh9z1#

在查看了几个隐藏的网站之后,我在以下博客中编译了在ApacheSpark3.0中设置gpu集群的说明:http://deeplearningyogi.com/ 请评论。
谢谢,
维尼沙尔

相关问题