spaCy nlp.pipe() with multiple processes on Windows VSCode

7ajki6be  于 2个月前  发布在  Windows
关注(0)|答案(2)|浏览(48)

尝试使用 nlp.pipe() 运行 n_process > 1,但在 Windows 机器上使用 VSCode 交互式会话运行代码时,代码会在无限挂起。在 VSCode Jupyter 笔记本示例中运行相同的代码正常。在传统的 Jupyter 笔记本中运行相同的代码正常。在标准的 Python 解释器中运行相同的代码正常。在 Google Colab 上运行相同的代码正常。

如何重现问题

import spacy
nlp = spacy.load("en_core_web_sm")
texts = ["one document to process"]  
results = list(nlp.pipe(texts, n_process=-1))

你的环境中

  • spaCy 版本: 3.7.2
  • 平台: Windows-10-10.0.22621-SP0
  • Python 版本: 3.11.7
  • Pipelines: de_core_news_sm (3.7.0), en_core_web_sm (3.7.1), es_core_news_sm (3.7.0), fr_core_news_sm (3.7.0), it_core_news_sm (3.7.0)
  • VSCode:

版本: 1.86.2 (用户设置)
提交: 903b1e9d8990623e3d7da1df3d33db3e42d80eda
日期: 2024-02-13T19:40:56.878Z
Electron: 27.2.3
ElectronBuildId: 26908389
Chromium: 118.0.5993.159
Node.js: 18.17.1
V8: 11.8.172.18-electron.0
OS: Windows_NT x64 10.0.22621

bt1cpqcv

bt1cpqcv1#

你好!感谢报告。
这很奇怪,我想知道在VSCode交互式会话中的区别是什么🤔

elcex8rz

elcex8rz2#

我不知道nlp.pipe()在底层是如何工作的,但我尝试使用ThreadPoolExecutor以并发方式执行一些基本代码,这似乎在交互式会话中运行良好。如果我能提供更多信息,请告诉我。如果有人能在自己的机器上确认相同的问题,那就太好了。

相关问题