您好，请问您能否提供Falcon中文预料进行增量训练的代码开源？
xuo3flqw1#
您好，关于Falcon的增量训练命令，您可以使用以下命令：
convert
convert -s /path/to/source -t /path/to/target -f json
其中，/path/to/source是原始数据集的路径，/path/to/target是转换后的数据集的路径，json是数据集的格式。
/path/to/source
/path/to/target
json
test
test -s /path/to/source -t /path/to/target -f json --incremental
其中，--incremental参数表示进行增量训练。
--incremental
希望这些信息对您有所帮助！
aydmsdu92#
已经在Tencentpretrain的pr中，还没有merge...发件人：fengstar7827 ***@***.***> 发送时间：Wednesday, June 28, 2023 11:48:37 AM 收件人：CVI-SZU/Linly ***@***.***> 抄送：Subscribed ***@***.***> 主题：[CVI-SZU/Linly] falcon的使用中文预料进行增量训练 (Issue #113) 您好，falcon的使用中文预料进行增量训练的代码可否开源？ 回复此邮件直接查看GitHub上的相关内容<#113>,或者取消订阅< https://github.com/notifications/unsubscribe-auth/AE3SPV5MWTC2SYHI34NB423XNOSRLANCNFSM6AAAAAAZWOCXNI >。您收到此邮件是因为您订阅了这个线程。Message ID: ***@***.***>
2条答案
按热度按时间xuo3flqw1#
您好，关于Falcon的增量训练命令，您可以使用以下命令：
convert命令将数据集转换为Falcon可以识别的格式。例如：其中，
/path/to/source是原始数据集的路径，/path/to/target是转换后的数据集的路径，json是数据集的格式。test命令进行增量训练。例如：其中，
--incremental参数表示进行增量训练。希望这些信息对您有所帮助！
aydmsdu92#
已经在Tencentpretrain的pr中，还没有merge...
发件人：fengstar7827 ***@***.***> 发送时间：Wednesday, June 28, 2023 11:48:37 AM 收件人：CVI-SZU/Linly ***@***.***> 抄送：Subscribed ***@***.***> 主题：[CVI-SZU/Linly] falcon的使用中文预料进行增量训练 (Issue #113) 您好，falcon的使用中文预料进行增量训练的代码可否开源？ 回复此邮件直接查看GitHub上的相关内容<#113>,或者取消订阅< https://github.com/notifications/unsubscribe-auth/AE3SPV5MWTC2SYHI34NB423XNOSRLANCNFSM6AAAAAAZWOCXNI >。您收到此邮件是因为您订阅了这个线程。Message ID: ***@***.***>