Chinese-CLIP 在Hugging Face中可以使用中文CLIP视觉模型吗？

dphi5xsq 于 4个月前发布在其他

关注(0)|答案(3)|浏览(150)

无法加载名为'OFA-Sys/chinese-clip-vit-base-patch16'的tokenizer。如果您尝试从'https://huggingface.co/models'加载它，请确保您没有具有相同名称的本地目录。否则，请确保'OFA-Sys/chinese-clip-vit-base-patch16'是包含所有相关文件的CLIPTokenizerFast tokenizer的正确路径。

Chinese-CLIP

来源：https://github.com/OFA-Sys/Chinese-CLIP/issues/323

3条答案

按热度按时间

4ioopgfo1#

或者说，有什么办法能直接下载ChineseCLIP的图像编码器。我可以只针对图像编码器进行微调。

赞(0）回复(0）举报 4个月前

ki1q1bka2#

这似乎是tokenizer的问题，换成AutoProcessor后解决了。

赞(0）回复(0）举报 4个月前

uhry853o3#

from PIL import Image
import requests
from transformers import CLIPProcessor, ChineseCLIPVisionModel, AutoProcessor

model = ChineseCLIPVisionModel.from_pretrained("OFA-Sys/chinese-clip-vit-base-patch16")
processor = AutoProcessor.from_pretrained("OFA-Sys/chinese-clip-vit-base-patch16")
url = " [https://clip-cn-beijing.oss-cn-beijing.aliyuncs.com/pokemon.jpeg](https://clip-cn-beijing.oss-cn-beijing.aliyuncs.com/pokemon.jpeg) "
image = Image.open(requests.get(url, stream=True).raw)
inputs = processor(images=image, return_tensors="pt")
outputs = model(**inputs)
last_hidden_state = outputs.last_hidden_state
pooled_output = outputs.pooler_output  # pooled CLS states
print(len(pooled_output))

赞(0）回复(0）举报 4个月前

我来回答

Chinese-CLIP 在Hugging Face中可以使用中文CLIP视觉模型吗？

3条答案

相关问题

热门标签

最新问答