问题
我一直在使用 RAG 的 ollama
和 llama-index
。
我在 llama3 8b
上得到的结果不是很好,所以很高兴看到 llama3-chatqa
被添加到了 v0.1.35
中。
然而,我总是在使用 llama3-chatqa
时得到“空响应”。我是不是漏掉了什么?
代码
from llama_index.core import VectorStoreIndex, SimpleDirectoryReader, Settings
from llama_index.embeddings.ollama import OllamaEmbedding
from llama_index.llms.ollama import Ollama
documents = SimpleDirectoryReader("data").load_data()
# Tested nomic-embed-text and mxbai-embed-large
Settings.embed_model = OllamaEmbedding(model_name="mxbai-embed-large")
#llama3 instead of llama3-chatqa can provide answers - though sometimes incorrect
Settings.llm = Ollama(model="llama3-chatqa", request_timeout=360.0)
index = VectorStoreIndex.from_documents(
documents,
)
query_engine = index.as_query_engine()
response = query_engine.query(query)
# "Empty Response" always when using llama3-chatqa
OS
Linux, Windows
GPU
Nvidia
CPU
Intel
Ollama 版本
0.135, 0.136, 0.138
2条答案
按热度按时间vlju58qv1#
请注意,在使用ollama 0.1.38时,我大约有80%的时间会收到空响应。
6ioyuze22#
遇到相同的问题,在使用
llama3-chatqa
时开始出现,现在在每个模型中都有这个问题。