在拥有56GB RAM和16GB GPU的机器上运行。使用OPENAI作为PROXY LLM。 Jmeter 板聊天运行时间过长,一直在运行多个查询(有时同一个查询多次)。如何改进?GPU仍然显示可用的VRAM。
cgfeq70w1#
关于这个有什么更新吗?
inkz8wg92#
同时还存在没有输出的问题。
kfgdxczn3#
我们将在0.5.0版本中尝试优化和修改 Jmeter 板模式下的表现。您可以等待后续版本。
3条答案
按热度按时间cgfeq70w1#
关于这个有什么更新吗?
inkz8wg92#
同时还存在没有输出的问题。
kfgdxczn3#
我们将在0.5.0版本中尝试优化和修改 Jmeter 板模式下的表现。您可以等待后续版本。