正如您所知,SpaCy是一个非常棒的库,用于处理文本和构建自己的模型来提取和处理数据。当我尝试使用en_core_web_trf模型从英语文本中获取实体时,我得到了一个可悲的结果-模型在CPU上工作时非常慢。所以,我尝试让GPU作为这个任务的动力。但试图启用GPU加速可能是具有挑战性的-驱动程序,CUDA,pytorch,特定的spacy安装...经过几次失败的尝试,我找到了正确的方法来启用GPU在Spacy。希望这将有所帮助
en_core_web_trf
lymnna711#
步骤:1.从nVidia网站(download)为GPU安装最新的稳定驱动程序。1.从nVidia网站安装CUDA Toolkit(我用的是archive),比如11. 6版本稳定,可以毫不犹豫地使用,重新启动。1.让我们检查一下安装的正确性
nvcc --version nvcc: NVIDIA (R) Cuda compiler driver Copyright (c) 2005-2021 NVIDIA Corporation Built on Fri_Dec_17_18:28:54_Pacific_Standard_Time_2021 Cuda compilation tools, release 11.6, V11.6.55z Build cuda_11.6.r11.6/compiler.30794723_0
1.从此download link安装PyTorch。PyTorch将为我们提供GPU支持的后端。检查以下选项:构建:稳定操作系统:WindowsPackage :pip计算平台:库达11.6检查这些选项列表后,您应该能够复制以下字符串pip3 install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu116使用管理员权限在cmd中运行此字符串1.检查PyTorch是否安装正确
pip3 install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu116
import torch torch.cuda.is_available() True
1.从以下webpage安装SpaCy。请检查以下选项:操作系统-Windows平台-x86程序包管理器-pip硬件-GPUCUDA-11.61.使用管理员权限在cmd中运行以下代码:
pip install -U pip setuptools wheel pip install -U “spacy[cuda116]” python -m spacy download en_core_web_trf
1.让我们检查一下是否一切正常:
spacy.require_gpu() load_nlp = spacy.load("en_core_web_trf") doc = load_nlp(text)
,其中text-要处理的任何英语文本说到加速-SpaCy有自己的基准测试
text
1条答案
按热度按时间lymnna711#
步骤:
1.从nVidia网站(download)为GPU安装最新的稳定驱动程序。
1.从nVidia网站安装CUDA Toolkit(我用的是archive),比如11. 6版本稳定,可以毫不犹豫地使用,重新启动。
1.让我们检查一下安装的正确性
1.从此download link安装PyTorch。PyTorch将为我们提供GPU支持的后端。检查以下选项:
构建:稳定
操作系统:Windows
Package :pip
计算平台:库达11.6
检查这些选项列表后,您应该能够复制以下字符串
pip3 install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu116
使用管理员权限在cmd中运行此字符串
1.检查PyTorch是否安装正确
1.从以下webpage安装SpaCy。请检查以下选项:
操作系统-Windows
平台-x86
程序包管理器-pip
硬件-GPU
CUDA-11.6
1.使用管理员权限在cmd中运行以下代码:
1.让我们检查一下是否一切正常:
,其中
text
-要处理的任何英语文本说到加速-SpaCy有自己的基准测试