与CBOW、skip-gram和GloVe相比，BERT中嵌入单词的效果如何？我认为这是一个非常有趣的问题。
rm5edbpk1#
通过使用遮罩标记进行训练，BERT迫使模型通过文本信息而不是标记的统计信息来学习标记的语义表示。因此，在BERT中的嵌入是动态的而不是静态的。
1条答案
按热度按时间rm5edbpk1#
通过使用遮罩标记进行训练，BERT迫使模型通过文本信息而不是标记的统计信息来学习标记的语义表示。因此，在BERT中的嵌入是动态的而不是静态的。