bert token_type_id只有两个可能的值,对吗?

lsmepo6l  于 5个月前  发布在  其他
关注(0)|答案(1)|浏览(46)

我阅读了代码,发现在注解中:
token_type_ids = tf.constant([[0, 0, 1], [0, 2, 0]])
但是我认为token_type_ids只能是1或0,我是不是错了?

9avjhtql

9avjhtql1#

不。token_type_id 可以大于2个...在实现中,token_type_vocab_size为16。
请查看this issue以获取更多信息。

相关问题