[BUG] 切换到非QAnything页面后,原模型回答界面停止回答,切换回来后会重新开始回答,

kxkpmulp  于 5个月前  发布在  其他
关注(0)|答案(4)|浏览(121)

是否已有关于该错误的issue或讨论? | 是否存在针对此错误的issue或讨论?

  • 我已经搜索过已有的issues和讨论 | 我已搜索过现有的issues和讨论

该问题是否在FAQ中有解答? | 此问题是否在FAQ中有解答?

  • 我已经搜索过FAQ | 我已搜索过FAQ

当前行为 | 当前行为

切换非QAnything页面后,原模型回答界面上停止回答,切换回来后会重新开始新的回答,

期望行为 | 期望行为

解决bug

运行环境 | 运行环境

- OS:Ubuntu 18.04
- NVIDIA Driver:525.105.17
- CUDA:12.0
- Docker Compose:2.24.5
- NVIDIA GPU Memory:80G

QAnything日志 | QAnything日志

INFO:root:prompt tokens: 3494
INFO:root:streaming: True
乳腺癌的研究进展包括外科治疗、人表皮生长因子受体2(HER2)阳性型乳腺癌、三阴性乳腺癌(TNBC)、激素受体(HR)阳性型乳腺癌和BRCA突变乳腺癌等。2022年,乳腺癌基础与转化研究领域进展颇丰,深化了对乳腺癌分子本质的认识,为乳腺癌精准治疗提供了新的思路。
INFO:httpx:HTTP请求:POST http://localhost:7802/v1/chat/completions "HTTP/1.1 200 OK"
异常在:<生成器对象OpenAICustomLLM._call at 0x7fe6a3227ed0>中被忽略
回溯(最近的调用):
文件 "/workspace/qanything_local/qanything_kernel/core/local_doc_qa.py",第249行,get_knowledge_based_answer函数中
yield response, history
RuntimeError:生成器忽略了GeneratorExit

复现方法 | 重现步骤

选择模型yi-34B-chat,运行命令bash ./run.sh -c local -i 2,3,4,5 -b hf -m Yi-34b-chat -t Yi-34b-chat,界面随机上传一个文档提一个问题

备注 | 其他信息?

  • 无响应*
vlf7wbxs

vlf7wbxs1#

同问,有时候不切换到别的页面也有此类问题,如下图。容器版本:qanything:v1.0.8(因为v1.1.1用不了,报错“Triton Inference Error (error_code: 4)”,所以切回此版本)

u1ehiz5o

u1ehiz5o2#

+1 感觉是异步没处理好还是什么

mbyulnm0

mbyulnm03#

修改\qanything-master\front_end\src\components\Chat.vue
fetchEventSource方法加入openWhenHidden: true,即可

jljoyd4f

jljoyd4f4#

修改\qanything-master\front_end\src\components\Chat.vue fetchEventSource方法加入openWhenHidden: true,即可
谢谢你 我的英雄

相关问题