我需要从googlebooks的n-gram语料库中为每个目标词计算10000个目标词和几百个上下文词的词共现统计以下是完整数据集的链接：谷歌ngram浏览器很明显，这个数据库大约有2.2tb，包含数千亿行。为了计算单词共现统计，我需要处理每个可能的目标词和上下文词对的全部数据。我目前正在考虑使用hadoop和hive来批量处理数据。考虑到这是一个有一学期时间限制和有限计算资源的学术项目，其他可行的选择是什么。注意，不需要对数据进行实时查询
5hcedyr01#
hive有一个内置的udf来处理ngramhttps://cwiki.apache.org/hive/statisticsanddatamining.html#statisticsanddatamining-ngrams%2528%2529和contextngrams%2528%2529%253angram频率估计
1条答案
按热度按时间5hcedyr01#
hive有一个内置的udf来处理ngramhttps://cwiki.apache.org/hive/statisticsanddatamining.html#statisticsanddatamining-ngrams%2528%2529和contextngrams%2528%2529%253angram频率估计