mlc-llm [功能请求]将OpenAI协议的默认值更改为NOT_GIVEN

vd8tlhqk  于 6个月前  发布在  其他
关注(0)|答案(6)|浏览(63)

🚀功能

目前,OpenAI API协议设置了直接的默认值。从端点的Angular 来看,最好将大多数值设置为NOT_GIVEN,这样后端就可以在未从前端传递配置的情况下提供特定于模型的配置。

jjjwad0x

jjjwad0x1#

cc @MasterJH5574@anibohara2000@Celve@Hzfengsy

pzfprimi

pzfprimi3#

让我们也确认一下JSONFFIEngine是否也是这种情况。

rta7y2nd

rta7y2nd4#

@tqchen PR to change this in JSONFFIEngine: #2225

nmpmafwu

nmpmafwu5#

请跟进JSONFFIEngine的案例。JSONFFIEngine的主要目的是避免从FFI侧传递对象并解析mlc-chat-config。因此,当前依赖于从Python侧解析和传递默认配置的实现并不是很理想。
相反,我们应该在C++实现的JSONFFIEngine.reload期间填充这些值。这有助于使JSONFFIEngine的默认行为在后端(如iOS)上有用。你能跟进一下吗?

0kjbasz6

0kjbasz66#

@MasterJH5574 would be good to confirm the state of this issue now in JSONFFI

相关问题