例行检查
- [ x] 我已确认目前没有类似 issue
- [ x] 我已完整查看过项目 README,以及 项目文档
- 我使用了自己的 key,并确认我的 key 是可正常使用的
- [ x] 我理解并愿意跟进此 issue,协助测试和提供反馈
- 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 issue 可能会被无视或直接关闭
你的版本
- 公有云版本
- [ x] 私有部署版本, 具体版本号: Chatglm3-6b-base,image: ghcr.io/labring/fastgpt:v4.8.5,image: ghcr.io/songquanpeng/one-api:latest
问题描述, 日志截图
系统:Windows11+WSL2+Ubuntu 22.04
大模型:版本Chatglm3-6b-base,WSL2上运行,api_server设置uvicorn.run(app, host='127.0.0.1', port=8000, workers=1), post可访问127.0.0.1:8000,且有响应。
Fastgpt:Docker运行,端口:9091:3000, - OPENAI_BASE_URL= http://172.20.0.1:3000/v1,- Network: http://172.21.0.7:3000/
Oneapi:Docker运行,端口:3001:3000,- Network: 172.21.0.1, 渠道部署 Base url: 127.0.0.1:8000,报错:
测试多ip端口皆无效:
Windows和WSL防火墙已down(启动wsl前,.wslconfig 文件已删除)
猜想:docker compose用桥接模式连接FastGPT,要如何将本地模型加入网络中?
求助大佬,感谢!
复现步骤
搭设并连接大模型,在docker上架设fastgpt+oneapi,在oneapi渠道上添加大模型base url。
3条答案
按热度按时间nkhmeac61#
你试一下代理不填127.0.0.1,填本机ip
r3i60tvu2#
请尝试将代理设置为不填127.0.0.1,而是填写本机的IP地址。同时,在base_url中填写ipconfig中的ipv4地址,如果仍然出现connection refused的错误。
xdyibdwo3#
与项目无关~百度学习,Docker如何访问本机网络。
最简单的方法是将所有容器放在同一个Docker网络中,然后通过容器名直接连接,无需通过IP地址(参考FastGPT连接OneAPI)