当前行为
llm适配器没有失败，但它只在相似度阈值足够接近最大距离时直接从llm生成。这意味着你得到的要么是正面命中，要么是负面命中。没有缓存未命中。所以我不确定下面的代码中的try-except块试图做什么？
https://github.com/zilliztech/GPTCache/blob/main/examples/benchmark/benchmark_sqlite_faiss_onnx.py
你能为报告中用于生成图表的示例文件夹中的基准代码更新吗？
预期行为
- 无响应*
重现步骤
- 无响应*
环境
- 无响应*
还有其他吗？
- 无响应*
4条答案
按热度按时间x7rlezfr1#
你可以尝试降低相似度阈值，例如0.9或0.8,你会得到不同的结果。
zbq4xfa02#
在我看来，如果llm适配器不满足阈值要求，它似乎不会引发异常。
m1m5dgzv3#
明白了。运行此脚本时，网络应断开连接，这意味着在需要访问openai时会报告错误，这意味着缓存无效。
gijlo24d4#
你能用LangChainLLM类检查脚本吗？它似乎没有“断开连接”。