描述

我使用 build_vocab_from_file() 函数训练了一个 Doc2Vec 模型。这样我可以在索引为 0 的位置手动添加一个 <PAD> 标记。这个标记在原始数据集中没有出现，但在我的程序的后续部分需要使用。

重现步骤/代码/语料库

下面是一个简单的示例，展示了我想要实现的目标：

import collections, sys

import gensim
from gensim import models
from gensim.models.doc2vec import TaggedDocument

lines = [u'It is a truth universally acknowledged',
        u'This was invitation enough.', 
        u'An invitation to dinner was soon afterwards dispatched']
words = [line.split() for line in lines]
doc_labels = [u'text0', u'tex1', u'text2']
word_freq = collections.Counter([w for line in words for w in line])
word_freq['<PAD>'] = sys.maxint # this ensure that the pad token has index 0 in gensim's vocabulary

class DocIterator(object):
    def __init__(self, docs, labels):
        self.docs = docs
        self.labels = labels
    def __iter__(self):
        for idx, doc in enumerate(self.docs):
            yield TaggedDocument(words=doc, tags=[self.labels[idx]])
            
doc_it = DocIterator(words, doc_labels)
model = gensim.models.Doc2Vec(vector_size=100, min_count=0)
model.build_vocab_from_freq(word_freq)
model.train(doc_it, total_examples=len(lines), epochs=10)

预期结果

预期 model.docvecs.count 的大小为 3(而不是 0)。

实际结果

实际 model.docvecs.count 的大小为 0
print(model.docvecs.count) -> 0

版本

Linux-3.19.0-82-generic-x86_64-with-Ubuntu-15.04-vivid
('Python', '2.7.9 (default, Apr 2 2015, 15:33:21)
[GCC 4.9.2]')
('NumPy', '1.14.3')
('SciPy', '1.1.0')
('gensim', '3.4.0')
('FAST_VERSION', 1)
现在我的问题是：

• 如何正确使用 build_vocab_from_freq() 以获得有效的模型？
• 如果无法实现这一点，如何在特定索引值强制 gensim 在词汇表中包含一个未见过的标记？