你好，我实现了BeitForMaskedImageModeling。它对于相同的pixel_values和bool_masked_pos返回与原始实现完全相同的logits。然而，当在图像上测试它时，它预测的视觉标记中没有一个与DALL-E的分词器中的地面真实视觉标记相对应。
@donglixp 如果您能查看我的笔记本：https://colab.research.google.com/drive/1Mjt-3jHw9HYMXECmSdDlbiG59ZAw-Z0T?usp=sharing,那就太好了。

@addf400 可以查看上面的笔记本进行双重检查。

OpenAI的公共解码器(https://cdn.openai.com/dall-e/decoder.pkl)是否可能与本工作中使用的解码器略有不同？我遇到了同样的问题，即从BeitForMaskedImageModeling重构的输出质量远低于输入，即使没有应用掩码。然而，它们之间还是有一些相似之处。我很想知道这方面是否有任何进展~

OpenAI的公共解码器(https://cdn.openai.com/dall-e/decoder.pkl)是否可能与本工作中使用的解码器略有不同？我遇到了同样的问题，即从BeitForMaskedImageModeling重构的输出质量远低于输入，即使没有应用掩码。然而，它们之间还是有一些相似之处。我很想知道这方面是否有任何进展~
@vvvm23 是的，我们使用了这个。

# Download the tokenizer weight from OpenAI's DALL-E
TOKENIZER_PATH=/path/to/save/dall_e_tokenizer_weight
mkdir -p $TOKENIZER_PATH
wget -o $TOKENIZER_PATH/encoder.pkl https://cdn.openai.com/dall-e/encoder.pkl
wget -o $TOKENIZER_PATH/decoder.pkl https://cdn.openai.com/dall-e/decoder.pkl

@NielsRogge, @addf400
我使用了与NielsRogge的笔记本相同的方法进行BEiT模型推理。我多次运行了他的笔记本代码，每次使用不同的bool_masked_pos。在75个遮罩位置中，我得到了0、1或2次正确预测。因此，NielsRogge关于0次正确预测的帖子只是随机的。如果尝试多次，它可能是1或2次。
然而，0/1/2仍然相当低。这是预期的吗？

你们有人能解决这个问题吗？
我得到了类似的结果，掩码区域的预测是错误的，因此重建(解码)的图像在掩码区域中具有错误和随机值。

你们有人能解决这个问题吗？我得到了类似的结果，掩码区域的预测是错误的，因此重建(解码)图像在掩码区域中出现了错误和随机值。
根据我的测试，我的“糟糕”结果是可以预料到的BeiT模型。我在测试时使用了线性探测。使用BeiT基本模型进行线性探测效果不佳。关于https://openreview.net/pdf?id=p-BhZSz59o4的BeiT论文中的审查表9有一些详细的结果。

你们有人能解决这个问题吗？我得到了类似的结果，掩码区域的预测是错误的，因此重建(解码)图像在掩码区域中有错误和随机值。
根据我的测试，我的“糟糕”结果是可以预料到的BeiT模型。我在测试时使用了线性探测。使用BeiT基础模型进行线性探测效果不佳。关于https://openreview.net/pdf?id=p-BhZSz59o4表格9的已审查的BeiT论文有一些详细的结果。
我不确定我是否理解，线性探测与最终类别预测有关。我看到的错误预测是关于标记的，我认为即使使用预训练特征进行正确的标记重构也可以工作，因为这不需要类特定信息。

对不起，我之前的帖子没有说清楚。在我的案例中，我使用了线性探测法进行最终类别预测。与DINO等其他模型相比，线性探测的结果并不理想。对于您的具体问题，我不确定。