ollama llama3-chatqa总是返回空响应,

8mmmxcuj 于 6个月前发布在其他

关注(0)|答案(2)|浏览(44)

问题

我一直在使用 RAG 的 ollama 和 llama-index。
我在 llama3 8b 上得到的结果不是很好，所以很高兴看到 llama3-chatqa 被添加到了 v0.1.35 中。
然而，我总是在使用 llama3-chatqa 时得到“空响应”。我是不是漏掉了什么？

代码

from llama_index.core import VectorStoreIndex, SimpleDirectoryReader, Settings
from llama_index.embeddings.ollama import OllamaEmbedding
from llama_index.llms.ollama import Ollama

documents = SimpleDirectoryReader("data").load_data()

# Tested nomic-embed-text and mxbai-embed-large
Settings.embed_model = OllamaEmbedding(model_name="mxbai-embed-large")

#llama3 instead of llama3-chatqa can provide answers - though sometimes incorrect
Settings.llm = Ollama(model="llama3-chatqa", request_timeout=360.0)

index = VectorStoreIndex.from_documents(
    documents,
)

query_engine = index.as_query_engine()
response = query_engine.query(query)

# "Empty Response" always when using llama3-chatqa