pytorch 在Apple Silicon Mac上运行AITextGen

vohkndzv 于 2023-08-05 发布在 Mac

关注(0)|答案(2)|浏览(119)

我使用的是带有M1芯片的MacBook Pro，我很难让aitextgen识别它的GPU--它寻找的是CUDA GPU，而苹果硅Mac电脑不使用。它的工作原理不使用GPU，但当然是慢。
下面是我运行的代码：

# Info on GPT Neo Models: https://huggingface.co/models?other=gpt_neo

import numpy as np
import pandas as pd 
from aitextgen.TokenDataset import TokenDataset 
from aitextgen.tokenizers import train_tokenizer
from aitextgen.utils import GPT2ConfigCPU
from aitextgen import aitextgen

# This code is from Apple and it invokes MPS : https://developer.apple.com/metal/pytorch/

import torch
if torch.backends.mps.is_available():    
   mps_device = torch.device("mps")    
   x = torch.ones(1, device=mps_device)    
   print (x)
else:    
   print ("MPS device not found.")    

ai = aitextgen(model="EleutherAI/gpt-neo-1.3b", to_gpu=True)

字符串
下面是Python的输出：
tensor（[1.]，device ='mps：0'）Generate config GenerationConfig {"_from_model_config "：true，"bos_token_id"：50256，"eos_token_id"：50256，"transformers_version"："4.28.1 "}从aitextgen/models--EleutherAI--gpt-neo-1.3b/snapshots/8282180b53cba30a1575e49de1530019e5931739/vocab的缓存加载文件vocab.json。jsonloading file merges.txt from cache at aitextgen/models--EleutherAI--gpt-neo-1.3b/snapshots/8282180b53cba30a1575e49de1530019e5931739/merges. txt从aitextgen/models--EleutherAI--gpt-neo-1.3b/snapshots/8282180b53cba30a1575e49de1530019e5931739/special_tokens_map. json从aitextgen/models--EleutherAI-gpt-neo-1.3b/snapshots/8282180b53cba30a1575e49de1530019e5931739/special_tokens_map. json从aitextgen/models--EleutherAI-gpt-neo-1.3b/snapshots/8282180b53cba30a1575e49de1530019e5931739/tokenizer_config.json从aitextgen/models未安装CUDA。
看起来aitextgen不支持苹果的MPS GPU框架。有人在苹果硅Mac上使用aitextgen和Huggingface模型吗？

pytorch

来源：https://stackoverflow.com/questions/76664732/running-aitextgen-on-apple-silicon-mac

2条答案

按热度按时间

hlswsv351#

您可以在代码中看到，无法显式设置任意设备：
https://github.com/minimaxir/aitextgen/blob/master/aitextgen/aitextgen.py
如果你想让它工作，你可以自己修改代码（也许向他们提交PR）。

赞(0）回复(0）举报 2023-08-05

0vvn1miw2#

你有没有考虑过直接使用拥抱脸库？这并不能保证任何一种模式都能奏效，但至少你有机会让它奏效。我的经验是，大多数模型都需要MPS体系结构中没有实现的功能。

import tempfile
import transformers

model = "EleutherAI/gpt-neo-1.3b"
prompt = "How now brown"

with tempfile.TemporaryDirectory() as offload_folder:
    tokenizer = transformers.AutoTokenizer.from_pretrained(model)
    model = transformers.AutoModelForCausalLM.from_pretrained(
        model,
        device_map="auto",
        offload_folder=offload_folder,
        trust_remote_code=True,
    )
    tensor = tokenizer(prompt, return_tensors="pt", return_token_type_ids=False).to(
        model.device
    )
    outputs = model.generate(**tensor)
    results = [tokenizer.decode(output, skip_special_tokens=True) for output in outputs]
    print(results)

字符串
如果你得到任何MPS错误，简单地“到”设备到“CPU”。
这一点：

tensor = tokenizer(prompt, return_tensors="pt", return_token_type_ids=False).to(
        model.device
    )

型
变成：

tensor = tokenizer(prompt, return_tensors="pt", return_token_type_ids=False).to(
        "cpu"
    )

型
我用我的例子在我的英特尔Mac上测试了运行模型，它在CPU上运行得很好。

赞(0）回复(0）举报 2023-08-05

我来回答

pytorch 在Apple Silicon Mac上运行AITextGen

2条答案

相关问题

热门标签

最新问答