我已经测量了Mistral 7B在有和没有Restful API的情况下的性能,分别得到了7.1次/秒和0.48次/秒。(平均输入/输出标记:232/208,A100 80GB)
deyfvvtc1#
你好,@kihanc,我们已经意识到与RESTful API相关的性能问题,并将很快提供有关此功能的更新。谢谢。
pxq42qpu2#
请尝试使用最新的main分支。我已经进行了改进,使我们能够将RESTful API的性能与我们的Python API相匹配(参见#328)。
main
vnjpjtjt3#
请尝试使用最新的 main 分支。我已经进行了改进,使我们能够将 RESTful API 的性能与我们的 Python API 相匹配(参见 #328 )。嘿,我怎么能让 Restful 以 0.0.0.0 而不是 localhost 启动并监听?我经常遇到这样的情况:我在远程机器上部署了应用程序,但无法使用外部 API 工具(如 Postman)进行测试,因为它只监听在 localhost 上。
06odsfpq4#
请尝试使用最新的 main 分支。我已经进行了改进,使我们能够将 RESTful API 的性能与我们的 Python API 相匹配(参见 #328 )。嘿,我怎么能让 Restful 以 0.0.0.0 而不是 localhost 启动并监听?我经常遇到这样的情况:我在远程机器上部署了应用程序,但无法使用外部 API 工具(如 Postman)进行测试,因为它只监听 localhost。我认为它默认使用 localhost,没有设置选项,你可以在本地修改这个文件,直到他们添加一个设置主机名的选项。
qnyhuwrf5#
请尝试使用最新的 main 分支。我已经进行了改进,使我们能够将 RESTful API 的性能与我们的 Python API 相匹配(参见 #328 )。嘿,我怎么能让 Restful 以 0.0.0.0 而不是 localhost 启动并监听?我经常遇到这样的情况:我在远程机器上部署了应用程序,但无法使用外部 API 工具(如 Postman)进行测试,因为它只监听 localhost。我认为它默认使用 localhost,没有设置选项,你可以在本地修改这个文件,直到他们添加一个设置主机名的选项。谢谢!
yi0zb3m46#
感谢快速的更新!您的测试代码在我们这边运行得很好。但是,如果我们一次发送超过100个请求,情况就会变得不稳定,连接会被重置。如果您能在API服务器上添加对并发连接的支持,那就太棒了。
ykejflvf7#
$x_1m_0n_1^x$ (默认为 $32$) 会有所帮助吗?也许尝试 $x_1m_1n_1^x$ 会更好?
oogrdqng8#
@mrwyattii 我已经尝试过那个方法,但没有帮助。
ghg1uchk9#
我们是否对此问题有任何更新?当请求速率较高时,我也观察到"连接重置"失败。
9条答案
按热度按时间deyfvvtc1#
你好,@kihanc,我们已经意识到与RESTful API相关的性能问题,并将很快提供有关此功能的更新。谢谢。
pxq42qpu2#
请尝试使用最新的
main
分支。我已经进行了改进,使我们能够将RESTful API的性能与我们的Python API相匹配(参见#328)。vnjpjtjt3#
请尝试使用最新的
main
分支。我已经进行了改进,使我们能够将 RESTful API 的性能与我们的 Python API 相匹配(参见 #328 )。嘿,我怎么能让 Restful 以 0.0.0.0 而不是 localhost 启动并监听?我经常遇到这样的情况:我在远程机器上部署了应用程序,但无法使用外部 API 工具(如 Postman)进行测试,因为它只监听在 localhost 上。
06odsfpq4#
请尝试使用最新的
main
分支。我已经进行了改进,使我们能够将 RESTful API 的性能与我们的 Python API 相匹配(参见 #328 )。嘿,我怎么能让 Restful 以 0.0.0.0 而不是 localhost 启动并监听?我经常遇到这样的情况:我在远程机器上部署了应用程序,但无法使用外部 API 工具(如 Postman)进行测试,因为它只监听 localhost。
我认为它默认使用 localhost,没有设置选项,你可以在本地修改这个文件,直到他们添加一个设置主机名的选项。
qnyhuwrf5#
请尝试使用最新的
main
分支。我已经进行了改进,使我们能够将 RESTful API 的性能与我们的 Python API 相匹配(参见 #328 )。嘿,我怎么能让 Restful 以 0.0.0.0 而不是 localhost 启动并监听?我经常遇到这样的情况:我在远程机器上部署了应用程序,但无法使用外部 API 工具(如 Postman)进行测试,因为它只监听 localhost。
我认为它默认使用 localhost,没有设置选项,你可以在本地修改这个文件,直到他们添加一个设置主机名的选项。
谢谢!
yi0zb3m46#
感谢快速的更新!您的测试代码在我们这边运行得很好。但是,如果我们一次发送超过100个请求,情况就会变得不稳定,连接会被重置。如果您能在API服务器上添加对并发连接的支持,那就太棒了。
ykejflvf7#
$x_1m_0n_1^x$ (默认为 $32$) 会有所帮助吗?也许尝试 $x_1m_1n_1^x$ 会更好?
oogrdqng8#
@mrwyattii 我已经尝试过那个方法,但没有帮助。
ghg1uchk9#
我们是否对此问题有任何更新?当请求速率较高时,我也观察到"连接重置"失败。