我有26，000，000条推文，正在用它们创建一个Gensim词典。第一种方法：

from gensim.corpora import Dictionary

corpus = []
with open(input_file, "r") as file:
    for row in file:
        comment = json.loads(row)        
        corpus.append(comment['text'].split())

gdict = Dictionary(corpus)

仅最后一行就需要大约一个小时。我还尝试了以下方法：

from gensim.corpora import Dictionary

gdict = Dictionary()
with open(input_file, "r") as file:
    for row in file:
        comment = json.loads(row)        
        gdict.add_documents([comment['text'].split()])

这需要2分钟来处理前11，400，000条推文，然后突然慢下来，并预测超过3000小时才能完成。
我已经随机化了推文的顺序，在大约相同数量的推文之后也会发生同样的事情，所以这不是一个特定的推文。
在使用add_documents之前，我还将tweet分组为不同的批量大小，并且在同一阶段，所有tweet都发生了相同的问题。
使用第一种方法，gdict的最终大小是1.4mb，所以这不是大小问题。
有什么想法吗