ChatGPT-3 GPU内存不足微调flan-ul 2

2wnc66cl 于 2023-05-29 发布在其他

关注(0)|答案(1)|浏览(191)

OutOfMemoryError：CUDA内存不足。尝试分配256.00 MiB（GPU 0; 15.78 GiB总容量; 14.99 GiB已分配; 3.50 MiB免费; PyTorch总共保留了14.99 GiB）如果保留内存>>分配内存，请尝试设置max_split_size_mb以避免碎片。有关内存管理和PYTORCH_CUDA_ALLOC_CONF，请参见文档
我有Standard_NC24s_v3单节点GPU，448 GB内存和4个GPU。但是，错误消息显示总容量为15.78GiB。微调不使用4个GPU？如何使用huggingface变压器获得Flan-UL 2微调中使用的所有4个GPU？

gpt-3

来源：https://stackoverflow.com/questions/76067091/gpu-out-of-memory-fine-tune-flan-ul2

1条答案

按热度按时间

qyyhg6bp1#

我通过使用以下软件包版本解决了这个问题。

!pip install transformers==4.28.1
!pip install sentencepiece==0.1.97
!pip install accelerate==0.18.0
!pip install bitsandbytes==0.37.2
!pip install torch==1.13.1

赞(0）回复(0）举报 2023-05-29

我来回答

ChatGPT-3 GPU内存不足微调flan-ul 2

1条答案

相关问题

热门标签

最新问答