我正在尝试构建一个机器学习模型,通过用我的职位描述数据集对GPT-NEO模型进行微调来生成职位描述
我试图从aitextgen导入TextDataset类,我一直面临这个错误
ImportError: cannot import name 'DeepSpeedPlugin' from 'pytorch_lightning.plugins
我确实尝试了很多chat gpt的建议,其中包括单独安装DeepSpeedPluging,降级我的aitextgen库升级我的pytorch库卸载和重新安装pytorch和aitextgen,但这里没有一个建议的方法是我的代码片段
!pip install aitextgen
import aitextgen.TokenDataset
在这个层次上我得到了错误
ImportError Traceback (most recent call last)
<ipython-input-3-24eff681443c> in <cell line: 1>()
----> 1 import aitextgen.TokenDataset
1 frames
/usr/local/lib/python3.10/dist-packages/aitextgen/aitextgen.py in <module>
12 import torch
13 from pkg_resources import resource_filename
---> 14 from pytorch_lightning.plugins import DeepSpeedPlugin
15 from tqdm.auto import trange
16 from transformers import (
ImportError: cannot import name 'DeepSpeedPlugin' from 'pytorch_lightning.plugins' (/usr/local/lib/python3.10/dist-packages/pytorch_lightning/plugins/__init__.py)"
1条答案
按热度按时间xt0899hw1#
您需要设置pytorch-lightning、transformers和aitextgen的版本。
像这样:
有一个开放的问题来解决这个问题:https://github.com/minimaxir/aitextgen/issues/215