Chinese-CLIP 请问如何将该模型作为stable diffusion的text encoder进行微调训练？

mcvgt66p 于 2个月前发布在其他

关注(0)|答案(2)|浏览(29)

代码中textencoder的大概调用是这样的，是否有调用错误？使用的transformers版本为4.25.1

text_cn_encoder = ChineseCLIPTextModel.from_pretrained(args.pretrained_text_model_path)
  tokenizer_cn = BertTokenizer.from_pretrained(args.pretrained_text_model_path)
  inputs_cn = tokenizer_cn(text=captions, truncation=True, return_tensors="pt")
  encoder_hidden_states = text_cn_encoder(inputs_cn.input_ids).last_hidden_state

来源：https://github.com/OFA-Sys/Chinese-CLIP/issues/198

2条答案

按热度按时间

我是这么写的。虽然有瑕疵，但是可以使用。

赞(0）回复(0）举报 2个月前

想问一下，为什么你引用的是ChineseCLIPModel。而不是ChineseCLIPTextModel呢@HiddenMarkovModel

赞(0）回复(0）举报 2个月前

相关问题

热门标签

Java query python Node 开发语言 request Util 数据库 Table 后端算法 Logger Message Element Parser

最新问答

xxl-job 安全组扫描到执行器端口服务存在信息泄露漏洞
回答(1) 发布于 22天前
xxl-job 不能和nacos兼容？
回答(3) 发布于 22天前
xxl-job 任务执行完后无法结束，日志一直转圈
回答(3) 发布于 22天前
xxl-job-admin页面上查看调度日志样式问题
回答(1) 发布于 22天前
xxl-job 参数512字符限制能否去掉
回答(1) 发布于 22天前