采用ChatFlow-13B模型进行并行推理，运行环境是8块A100 40G的卡，使用示例中的命令参数：python llama_dialogue.py --world_size 8 --seq_length 512 --top_k 10 --load_model_path ../ChatFlow-13B/chatflow_13b.bin --config_path ./config/llama_13b_config.json --spm_model_path ../ChatFlow-13B/tokenizer.model
为什么推理的时间特别长？特别简单的问题，都需要好几分钟才能回复。请不吝赐教
2条答案
按热度按时间nfeuvbwi1#
首先，13B模型不需要使用8张卡，一张就足够了。其次，卡片越多，通信耗时越大，因此速度会较慢。建议如果需要运行大批次时尝试使用多卡，否则对于A100来说，单卡就足够了。单卡13B fp16占用27G显存。
gmol16392#
首先，13B模型不需要使用8张卡，一张就足够了。其次，卡片越多，通信耗时越大，因此速度会变慢。建议如果要运行大批次时尝试使用多卡，否则A100的话单卡就足够了。单卡13B fp16占用27G显存。
使用单卡速度快多了。非常感谢！