是否已有关于该错误的issue或讨论？
我已经搜索过已有的issues和讨论
该问题是否在FAQ中有解答？
我已经搜索过FAQ
当前行为
qanything-container-local | Embedding and Rerank 服务正在启动，可能需要一段时间...你有时间去冲杯咖啡 :)
qanything-container-local | The embedding and rerank service is starting up, it can be long... you have time to make a coffee :)
qanything-container-local | Embedding and Rerank 服务正在启动，可能需要一段时间...你有时间去冲杯咖啡 :)
qanything-container-local | The embedding and rerank service is starting up, it can be long... you have time to make a coffee :)
qanything-container-local | Embedding and Rerank 服务正在启动，可能需要一段时间...你有时间去冲杯咖啡 :)
qanything-container-local | The embedding and rerank service is starting up, it can be long... you have time to make a coffee :)
qanything-container-local | Embedding and Rerank 服务正在启动，可能需要一段时间...你有时间去冲杯咖啡 :)
qanything-container-local | 启动 embedding and rerank 服务超时，自动检查 /workspace/qanything_local/logs/debug_logs/embed_rerank_tritonserver.log 中是否存在Error...
qanything-container-local | /workspace/qanything_local/logs/debug_logs/embed_rerank_tritonserver.log 中未检测到明确的错误信息。请手动排查 /workspace/qanything_local/logs/debug_logs/embed_rerank_tritonserver.log 以获取更多信息。
期望行为
No response
运行环境
- OS:win11专业版;WSLUbuntu子系统ubuntu22.04;
- NVIDIA Driver:551.23
- Docker Compose:Docker Desktop
- NVIDIA GPU Memory:RTX4060TI 16GQAnything日志
embed_rerank_tritonserver.log输出
8条答案
按热度按时间p4tfgftt1#
找到解决办法了吗
1yjd4xko2#
找到解决办法了吗？
没有，不过通过更换环境尝试了docker-compose的部署方式也依然存在这个问题，增大wsl的内存配额到12g也不行。
goucqfw63#
请问层主解决了这个问题吗？
jjjwad0x4#
这个没人解决吗
polkgigr5#
我也遇到了同样的问题。由于该服务需要大约13G的显存，使用默认命令
bash run.sh会直接使用我的第一张显卡，这张显卡已经在运行其他的GPU程序，导致显存不足。后来我使用命令bash ./run.sh -c local -i 1 -b default切换到第二张显卡，就能成功运行了。2sbarzqh6#
我也是同样情况，win11 wsl2 32G内存，由于显卡3060不够，使用3B模型bash ./run.sh -c local -i 0 -b hf -m MiniChat-2-3B -t minichat，但是同样错误
xiozqbni7#
我的情况也是一样，Windows 11 WSL2 32G内存。由于显卡3060不够，使用3B模型运行bash ./run.sh -c local -i 0 -b hf -m MiniChat-2-3B -t minichat时出现错误。同样的问题在使用1.8B Minichat时也出现了，怀疑是显存不够。以下是
embed_rerank_tritonserver.log和embed_rerank_tritonserver.log的信息：nhjlsmyf8#
我用一张3090或者两张3090，都是这个错误。