注意::我的 reference document 数据会定期更改,因此如果我使用Embedding Vector space方法,我必须修改嵌入,例如每天一次
我想知道这些因素,以便我可以设计我的系统,通过使用Cron Jobs预先创建嵌入来补偿我的 * 参考文档数据 * 生成延迟
在LangChain
中有4种方法,我们可以使用它们来检索文档上的QA。或多或少,它们是彼此的 Package 。
load_qa_chain
在每次调用时都使用动态文档RetrievalQA
从文档的Embedding空间获取VectorstoreIndexCreator
是2.
的 Package 器ConversationalRetrievalChain
使用嵌入空间,它也有内存和聊天记录。1,3,4
在速度上有什么区别?
1.如果我使用嵌入式DB,它会比load_qa_chain
更快吗?假设预先嵌入文档(如2,3
)会有帮助,或者它是一样的,因为50个单词的提示所花费的时间与2000个单词的时间相同(load_qa_chain
中的文档文本+提示)?
1.如果我使用ConversationalRetrievalChain
与memory
和chat_history
一起使用或不使用,速度会受到影响吗?
1条答案
按热度按时间lmvvr0a81#
*load_qa_chain使用所有文本,接受多个文档;
*RetrievalQA使用load_qa_chain,但首先检索相关的文本块;
*VectorstoreIndexCreator与RetrievalQA相同,接口更高级;
*ConversationalRetrievalChain用于将聊天记录传递给模特。