ollama llama3-chatqa总是返回空响应,

8mmmxcuj  于 4个月前  发布在  其他
关注(0)|答案(2)|浏览(36)

问题

我一直在使用 RAG 的 ollamallama-index
我在 llama3 8b 上得到的结果不是很好,所以很高兴看到 llama3-chatqa 被添加到了 v0.1.35 中。
然而,我总是在使用 llama3-chatqa 时得到“空响应”。我是不是漏掉了什么?

代码

from llama_index.core import VectorStoreIndex, SimpleDirectoryReader, Settings
from llama_index.embeddings.ollama import OllamaEmbedding
from llama_index.llms.ollama import Ollama

documents = SimpleDirectoryReader("data").load_data()

# Tested nomic-embed-text and mxbai-embed-large
Settings.embed_model = OllamaEmbedding(model_name="mxbai-embed-large")

#llama3 instead of llama3-chatqa can provide answers - though sometimes incorrect
Settings.llm = Ollama(model="llama3-chatqa", request_timeout=360.0)

index = VectorStoreIndex.from_documents(
    documents,
)

query_engine = index.as_query_engine()
response = query_engine.query(query)

# "Empty Response" always when using llama3-chatqa

OS

Linux, Windows

GPU

Nvidia

CPU

Intel

Ollama 版本

0.135, 0.136, 0.138

vlju58qv

vlju58qv1#

请注意,在使用ollama 0.1.38时,我大约有80%的时间会收到空响应。

6ioyuze2

6ioyuze22#

遇到相同的问题,在使用llama3-chatqa时开始出现,现在在每个模型中都有这个问题。

相关问题