FastGPT Oneapi添加渠道本地大模型,显示Connection Error

vs91vp4v  于 6个月前  发布在  其他
关注(0)|答案(3)|浏览(56)

例行检查

  • [ x] 我已确认目前没有类似 issue
  • [ x] 我已完整查看过项目 README,以及 项目文档
  • 我使用了自己的 key,并确认我的 key 是可正常使用的
  • [ x] 我理解并愿意跟进此 issue,协助测试和提供反馈
  • 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 issue 可能会被无视或直接关闭

你的版本

  • 公有云版本
  • [ x] 私有部署版本, 具体版本号: Chatglm3-6b-base,image: ghcr.io/labring/fastgpt:v4.8.5,image: ghcr.io/songquanpeng/one-api:latest

问题描述, 日志截图

系统:Windows11+WSL2+Ubuntu 22.04
大模型:版本Chatglm3-6b-base,WSL2上运行,api_server设置uvicorn.run(app, host='127.0.0.1', port=8000, workers=1), post可访问127.0.0.1:8000,且有响应。

Fastgpt:Docker运行,端口:9091:3000, - OPENAI_BASE_URL= http://172.20.0.1:3000/v1,- Network: http://172.21.0.7:3000/
Oneapi:Docker运行,端口:3001:3000,- Network: 172.21.0.1, 渠道部署 Base url: 127.0.0.1:8000,报错:

测试多ip端口皆无效:

Windows和WSL防火墙已down(启动wsl前,.wslconfig 文件已删除)
猜想:docker compose用桥接模式连接FastGPT,要如何将本地模型加入网络中?
求助大佬,感谢!

复现步骤

搭设并连接大模型,在docker上架设fastgpt+oneapi,在oneapi渠道上添加大模型base url。

nkhmeac6

nkhmeac61#

你试一下代理不填127.0.0.1,填本机ip

r3i60tvu

r3i60tvu2#

请尝试将代理设置为不填127.0.0.1,而是填写本机的IP地址。同时,在base_url中填写ipconfig中的ipv4地址,如果仍然出现connection refused的错误。

xdyibdwo

xdyibdwo3#

与项目无关~百度学习,Docker如何访问本机网络。

最简单的方法是将所有容器放在同一个Docker网络中,然后通过容器名直接连接,无需通过IP地址(参考FastGPT连接OneAPI)

相关问题