Linly 是否支持OPT模型

1cosmwyk  于 4个月前  发布在  其他
关注(0)|答案(1)|浏览(176)

你好,我想问一下,能否将这个管道调整为适应OPT模型?我想尝试使用OPT-1.3b模型,因为llama 7b对我的环境来说仍然太大了。

  1. 从配置方面来看,在TencentPretrain/models中,没有针对OPT模型的配置支持,我想知道如何获取新模型的配置信息?
  2. 如果我们在这个管道中使用其他大型语言模型而不是llama-7b/13b模型,我们需要做哪些改变才能使其正常工作?
    任何建议都非常感谢!
vfh0ocws

vfh0ocws1#

感谢您的反馈,我们正在编写文档以帮助您基于TencentPretrain开发新模型。很快就会提供。

相关问题