功能描述
当前问题:
我们需要并行化知识图谱索引的创建过程。目前,代码顺序处理对语言模型(LLM)的每次调用以构建三元组。当前的实现如下:
knowledge_graph_index = KnowledgeGraphIndex.from_documents(
documents,
storage_context=storage_context,
max_triplets_per_chunk=3,
show_progress=True,
include_embeddings=True,
)
要求解决方案:
我们希望能够拆分这个过程,以便并行处理文档块。例如,如果有一个1000个字符的文档,我应该能够使用Sentence Splitter将其拆分为100个块,然后并行计算这些10个块的嵌入和创建三元组的过程。
原因
效率:并行处理文档块显著加快了索引创建过程的速度。
功能价值
使用知识图谱的主要挑战是我在构建索引时速度慢。目前,这个过程是顺序的,这严重阻碍了效率。
2条答案
按热度按时间jm2pwxwz1#
你是否看到过PropertyGraphIndex?它更新、更可定制,最重要的是,使用异步并发进行LLM调用。速度更快
ekqde3dh2#
(我认为,由于PropertyGraphIndex的更新,KnowledgeGraphIndex基本上处于特征冻结状态。)