haystack ``` streaming_callback with async functions ```

olqngx59  于 5个月前  发布在  其他
关注(0)|答案(3)|浏览(66)

您的功能请求是否与问题相关?请描述。

目前,聊天生成器的streaming_callback不支持异步函数作为回调,这限制了使用FastAPI等后端解决方案的潜力。

描述您希望的解决方案

让streaming_callback同时接受Optional[Callable[[StreamingChunk], None]]Optional[(chunk: StreamingChunk) -> Coroutine[Any, Any, None]

描述您考虑过的替代方案

目前,替代方案是在不同的线程上运行管道,然后使用适当的数据结构并发地从回调中添加数据并从FastAPI主线程检索它们。这样一来,代码笨拙且不理想。

v9tzhpje

v9tzhpje2#

有人知道如何从生成器通过FastAPI流式传输令牌回用户吗?

相关问题