你好，有没有方法可以提取T5、GPT模型(在lm_head密集层之前)的最后一个隐藏状态？有些模型需要将自回归模型的最后一个隐藏状态作为输入，所以如果支持返回模型的最后一个隐藏状态就更好了。
rks48beu1#
你好，你是想从Python或C++中实现这个功能吗？
xqk2d5yq2#
你好，我正在寻找在Python中实现这个功能的方法。很高兴ctranslate2支持在前向函数中返回所有隐藏状态。
30byixjq3#
现在有办法做到这一点吗？
hgqdbh6s4#
翻译结果为：如果输入非常离散，这个功能会很好用——可以启用“拒绝翻译”。
4条答案
按热度按时间rks48beu1#
你好，
你是想从Python或C++中实现这个功能吗？
xqk2d5yq2#
你好，我正在寻找在Python中实现这个功能的方法。很高兴ctranslate2支持在前向函数中返回所有隐藏状态。
30byixjq3#
现在有办法做到这一点吗？
hgqdbh6s4#
翻译结果为：如果输入非常离散，这个功能会很好用——可以启用“拒绝翻译”。