topk调小一点看看？ 比如调到5… ________________________________ 发件人: hepj987 ***@***.***> 发送时间: 2023年5月22日 15:38 收件人: CVI-SZU/Linly ***@***.***> 抄送: Subscribed ***@***.***> 主题: Re: [CVI-SZU/Linly] 多轮对话回答结果的一些疑问 (Issue #75) 作者放出的在线测试服务尝试 了一下，比如问 “成都有哪些好玩的地方？”，回答如下： 成都有哪些好玩的地方？ 1.杜甫草堂，是唐代大诗人杜甫在其家乡四川成都市邛崃县所居住过的故居和游览地。 2.青羊古镇，位于四川省成都平原南部，是以农村建筑群、古街道及民俗文化为特色而著称，已被列入中国历史名城。 3.峨眉山，占全球最高山峰之首，是世界自然与文化双遗产，素有“天下名山第一”美誉。 4.锦里古街，位于四川成都市区内，是集保存完整的明清古建筑群、传统手工业品和优秀文化活动于一体的商业文化步行街。 5.文殊院，始建于南朝时，是中国佛教寺庙建筑群中保持了相对完好的南方木构建筑和精美石雕的典型代表。 6.Pandas基地，是中国Pandas研究基地，也是全球野外繁殖最成功的Pandas研究基地之一，位于成都市区西北10公里的龙泉湖生态景区中心。 7.宽窄巷子，这个古老而富有现代气息并存的小区，被联合国教科文组织认定为世界文明遗产。 但自己使用的模型都得不到这么长的结果，回答大概只有三十个字，试了几次都没有较长的回答。 大家有得到过较长的回答么？ ― Reply to this email directly, view it on GitHub<#75 (comment)>, or unsubscribe< https://github.com/notifications/unsubscribe-auth/AE3SPVZYHHEUAR6W3YWKZDTXHMJYXANCNFSM6AAAAAAYGG2YCU >. You are receiving this because you are subscribed to this thread.Message ID: ***@***.***>
5条答案
按热度按时间hfwmuf9z1#
成都有哪些好玩的地方？ 1.杜甫草堂，是唐代大诗人杜甫在其家乡四川成都市邛崃县所居住过的故居和游览地。
2.青羊古镇，位于四川省成都平原南部，是以农村建筑群、古街道及民俗文化为特色而著称，已被列入中国历史名城。
3.峨眉山，占全球最高山峰之首，是世界自然与文化双遗产，素有“天下名山第一”美誉。
4.锦里古街，位于四川成都市区内，是集保存完整的明清古建筑群、传统手工业品和优秀文化活动于一体的商业文化步行街。
5.文殊院，始建于南朝时，是中国佛教寺庙建筑群中保持了相对完好的南方木构建筑和精美石雕的典型代表。
6.Pandas基地，是中国Pandas研究基地，也是全球野外繁殖最成功的Pandas研究基地之一，位于成都市区西北10公里的龙泉湖生态景区中心。
7.宽窄巷子，这个古老而富有现代气息并存的小区，被联合国教科文组织认定为世界文明遗产。
但自己使用的模型都得不到这么长的结果，回答大概只有三十个字，试了几次都没有较长的回答。 大家有得到过较长的回答么？
fjnneemd2#
topk调小一点看看？ 比如调到5…
________________________________ 发件人: hepj987 ***@***.***> 发送时间: 2023年5月22日 15:38 收件人: CVI-SZU/Linly ***@***.***> 抄送: Subscribed ***@***.***> 主题: Re: [CVI-SZU/Linly] 多轮对话回答结果的一些疑问 (Issue #75) 作者放出的在线测试服务尝试 了一下，比如问 “成都有哪些好玩的地方？”，回答如下： 成都有哪些好玩的地方？ 1.杜甫草堂，是唐代大诗人杜甫在其家乡四川成都市邛崃县所居住过的故居和游览地。 2.青羊古镇，位于四川省成都平原南部，是以农村建筑群、古街道及民俗文化为特色而著称，已被列入中国历史名城。 3.峨眉山，占全球最高山峰之首，是世界自然与文化双遗产，素有“天下名山第一”美誉。 4.锦里古街，位于四川成都市区内，是集保存完整的明清古建筑群、传统手工业品和优秀文化活动于一体的商业文化步行街。 5.文殊院，始建于南朝时，是中国佛教寺庙建筑群中保持了相对完好的南方木构建筑和精美石雕的典型代表。 6.Pandas基地，是中国Pandas研究基地，也是全球野外繁殖最成功的Pandas研究基地之一，位于成都市区西北10公里的龙泉湖生态景区中心。 7.宽窄巷子，这个古老而富有现代气息并存的小区，被联合国教科文组织认定为世界文明遗产。 但自己使用的模型都得不到这么长的结果，回答大概只有三十个字，试了几次都没有较长的回答。 大家有得到过较长的回答么？ ― Reply to this email directly, view it on GitHub<#75 (comment)>, or unsubscribe< https://github.com/notifications/unsubscribe-auth/AE3SPVZYHHEUAR6W3YWKZDTXHMJYXANCNFSM6AAAAAAYGG2YCU >. You are receiving this because you are subscribed to this thread.Message ID: ***@***.***>
ygya80vv3#
感谢你的建议，我按照你的方法进行了调试，但是似乎没有明显的长度提升。我原以为是多轮对话参数设置的问题，所以我尝试使用生成式脚本来生成这个问题，但是长度仍然远达不到作者给出的在线测试那么长。感到难过。
q43xntqr4#
参考huggingface在线demo的配置：
args.batch_size = 1
args.seq_length = 1024
args.world_size = 1
args.use_int8 = False
args.top_p = 0
args.repetition_penalty_range = 1024
args.repetition_penalty_slope = 0
args.repetition_penalty = 1.15
然后自己调节的参数部分：top_k = 10, temperature=1
@hepj987 参考一下哈，在线demo的代码和llama_inference的代码基本是一致的。
vojdkbi05#
感谢回复，我在app.py脚本里也看到了作者在线示例的参数设置，并尝试了对齐这些参数。由于我的显卡不足，无法将world_size设置为1,但其他参数已经对齐。然而，效果仍然与作者在线展示的有区别。
请问在本地测试“成都有哪些好玩的地方？”时，能否得到与在线类似的长结果？