在同一工作节点上的pyspark工作进程之间共享cuda内存

hfwmuf9z  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(192)

当使用pyspark进行分布式计算时,是否可以跨工作python进程共享gpu内存?特别是我有一个pytorch模型,我想在其上运行分布式推理,运行这个模型的最简单方法是每个pyspark工作进程将pytorch模型加载到cuda内存中。然而,这是非常低效的,并大大减少了pytorch模型的大小,可以适应。
在spark 3.0中有更好的gpu支持,有没有办法做到这一点?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题