ChatGPT-3 在LangChain中回答文档问题的4种方法中,哪一种是最快的,为什么(忽略使用的LLM模型)?

rjzwgtxy  于 2023-06-06  发布在  其他
关注(0)|答案(1)|浏览(477)

注意::我的 reference document 数据会定期更改,因此如果我使用Embedding Vector space方法,我必须修改嵌入,例如每天一次

我想知道这些因素,以便我可以设计我的系统,通过使用Cron Jobs预先创建嵌入来补偿我的 * 参考文档数据 * 生成延迟
LangChain中有4种方法,我们可以使用它们来检索文档上的QA。或多或少,它们是彼此的 Package 。

  1. load_qa_chain在每次调用时都使用动态文档
  2. RetrievalQA从文档的Embedding空间获取
  3. VectorstoreIndexCreator2.的 Package 器
  4. ConversationalRetrievalChain使用嵌入空间,它也有内存和聊天记录。
    1,3,4在速度上有什么区别?
    1.如果我使用嵌入式DB,它会比load_qa_chain更快吗?假设预先嵌入文档(如2,3)会有帮助,或者它是一样的,因为50个单词的提示所花费的时间与2000个单词的时间相同(load_qa_chain中的文档文本+提示)?
    1.如果我使用ConversationalRetrievalChainmemorychat_history一起使用或不使用,速度会受到影响吗?
lmvvr0a8

lmvvr0a81#

*load_qa_chain使用所有文本,接受多个文档;
*RetrievalQA使用load_qa_chain,但首先检索相关的文本块;
*VectorstoreIndexCreator与RetrievalQA相同,接口更高级;
*ConversationalRetrievalChain用于将聊天记录传递给模特。

相关问题