llama_index [问题]:在向量化时出现ValueError Invalid literal for base 10错误

3vpjnl9f  于 5个月前  发布在  其他
关注(0)|答案(3)|浏览(58)

问题验证

  • 我已经在文档和discord上搜索了答案。

问题

我正在使用以下代码进行向量化:

embed_model = llm_class(api_key=os.getenv("OPENAI_API_KEY"), deployment=model_type, model=model_type, **kwargs)
Settings.embed_model = embed_model

def save_llama(content, metadata, storage_context):
    document = Document(text=content, metadata=metadata)
    VectorStoreIndex.from_documents(
        documents=[document],
        storage_context=storage_context,
        show_progress=True
    )
bnlyeluc

bnlyeluc1#

要解决向量化时的 ValueError: Invalid literal for base 10 错误,请确保向量存储已正确初始化并传递给查询。错误信息表明需要一个向量存储来进行向量存储查询。
以下是修正后的代码片段:

embed_model = llm_class(api_key=os.getenv("OPENAI_API_KEY"), deployment=model_type, model=model_type, **kwargs)
Settings.embed_model = embed_model

def save_llama(content, metadata, storage_context):
    document = Document(text=content, metadata=metadata)
    
    # Ensure the vector store is properly loaded or initialized
    vector_store = SomeVectorStore.load_from_disk('vector_store.json')  # Replace with actual vector store loading method
    
    VectorStoreIndex.from_documents(
        documents=[document],
        storage_context=storage_context,
        vector_store=vector_store,  # Pass the vector store to the query
        show_progress=True
    )

请确保将 SomeVectorStore.load_from_disk('vector_store.json') 替换为实际用于加载或初始化向量存储的方法。这应该通过确保为向量存储查询提供向量存储来解决 ValueError

  • 要继续与 Dosu 交流,请提及 @dosu。*
ars1skjm

ars1skjm2#

经过调试,我发现没有返回index_struct
这就是为什么VectoreStoreIndex没有被初始化的原因。

pjngdqdw

pjngdqdw3#

我认为这与VectoreStoreIndex无关——我认为您的嵌入模型没有返回原始浮点数作为嵌入值。
我不知道llm_class在做什么,但那可能是问题所在。
您可以用embeddings = embed_model.get_text_embedding("Hello world")轻松检查,并确保返回的类型是浮点数列表。似乎它可能返回numpy或其他东西

相关问题