Linly 关于33B模型预训练语料长度

wnrlj8wa  于 6个月前  发布在  其他
关注(0)|答案(2)|浏览(124)

\n\n你好,注意到33B模型的预训练语料长度是512。如果在这个基础上进行继续指令finetune,并且finetune数据长度大于512,会有影响吗?

44u64gxh

44u64gxh1#

请问您现在对这个问题有答案了吗

cmssoen2

cmssoen22#

没有影响...

发件人: parkLGW ***@***.***> 发送时间: 2023年7月21日,星期五,下午5:22:07 PM
收件人: CVI-SZU/Linly ***@***.***> 抄送: Subscribed ***@***.***> 主题: 回复: [CVI-SZU/Linly] 关于33B模型预训练语料长度 (Issue #96) 请问您现在对这个问题有答案了吗 ― 直接回复此电子邮件,查看GitHub上的讨论<#96 (评论)>,或取消订阅< https://github.com/notifications/unsubscribe-auth/AE3SPV4MQJPWOR4UMXW5TE3XRJC37ANCNFSM6AAAAAAYWX4X2U >。您收到此邮件是因为您订阅了这个主题。消息ID: ***@***.***>

相关问题