pytorch 如何在Windows上为Spacy启用CUDA GPU加速

jv4diomz  于 2023-02-08  发布在  Windows
关注(0)|答案(1)|浏览(562)

正如您所知,SpaCy是一个非常棒的库,用于处理文本和构建自己的模型来提取和处理数据。
当我尝试使用en_core_web_trf模型从英语文本中获取实体时,我得到了一个可悲的结果-模型在CPU上工作时非常慢。所以,我尝试让GPU作为这个任务的动力。
但试图启用GPU加速可能是具有挑战性的-驱动程序,CUDA,pytorch,特定的spacy安装...
经过几次失败的尝试,我找到了正确的方法来启用GPU在Spacy。希望这将有所帮助

lymnna71

lymnna711#

步骤:
1.从nVidia网站(download)为GPU安装最新的稳定驱动程序。
1.从nVidia网站安装CUDA Toolkit(我用的是archive),比如11. 6版本稳定,可以毫不犹豫地使用,重新启动。
1.让我们检查一下安装的正确性

nvcc --version
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2021 NVIDIA Corporation
Built on Fri_Dec_17_18:28:54_Pacific_Standard_Time_2021
Cuda compilation tools, release 11.6, V11.6.55z
Build cuda_11.6.r11.6/compiler.30794723_0

1.从此download link安装PyTorch。PyTorch将为我们提供GPU支持的后端。检查以下选项:
构建:稳定
操作系统:Windows
Package :pip
计算平台:库达11.6
检查这些选项列表后,您应该能够复制以下字符串
pip3 install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu116
使用管理员权限在cmd中运行此字符串
1.检查PyTorch是否安装正确

import torch
torch.cuda.is_available()
True

1.从以下webpage安装SpaCy。请检查以下选项:
操作系统-Windows
平台-x86
程序包管理器-pip
硬件-GPU
CUDA-11.6
1.使用管理员权限在cmd中运行以下代码:

pip install -U pip setuptools wheel
pip install -U “spacy[cuda116]”
python -m spacy download en_core_web_trf

1.让我们检查一下是否一切正常:

spacy.require_gpu()
load_nlp = spacy.load("en_core_web_trf")
doc = load_nlp(text)

,其中text-要处理的任何英语文本
说到加速-SpaCy有自己的基准测试

相关问题