功能需求
我希望能够使用支持有界输出的指南或其他库，与HF端点一起使用。
参考：A guidance language for controlling large language models.
动机
我想要使用类似guidance这样的库，通过HF推理端点进行受限制的生成，这样我们就可以使用超过本地计算能力的更大模型。
你的贡献
不知道如何开始为现有的TGI配置添加API端点。
我希望能够使用支持有界输出的指南或其他库，与HF端点一起使用。
参考：A guidance language for controlling large language models.
我想要使用类似guidance这样的库，通过HF推理端点进行受限制的生成，这样我们就可以使用超过本地计算能力的更大模型。
不知道如何开始为现有的TGI配置添加API端点。
3条答案
按热度按时间jrcvhitl1#
你好，@michael-conrad 🙌
我们通过 outlines 在 TGI 中提供了结构化生成支持。
这会解决你的问题吗？
文档：https://huggingface.co/docs/text-generation-inference/basic_tutorials/using_guidance
k3fezbri2#
See also: guidance-ai/guidance#952
zte4gxcn3#
好的，谢谢你指出这个问题👍
有一件事可能需要澄清的是，TGI和推理端点之间是相互独立的。它们是两个独立的东西。
所以在这种情况下，我认为添加一个自定义的Inference Handler(也在指导问题中链接)是正确的方法。就本身而言，TGI没有配置来添加新的端点。
这有道理吗？