生Pig是批量加工吗?如果是这样,请让我知道为什么它被称为批处理。它是批处理,因为它运行一个map reduce。
whlutmcx1#
在数据处理中,我们可以分别处理每个记录(一个带时间戳的记录称为事件),也可以处理一组称为批处理的记录。pig执行批处理,因为它不逐个处理输入记录,实际上,pig将输入路径中的所有可用记录作为一个批加载。map-reduce是为批处理而设计的数据处理框架,mapreduce是指批处理,而批处理不是mapreduce。
1条答案
按热度按时间whlutmcx1#
在数据处理中,我们可以分别处理每个记录(一个带时间戳的记录称为事件),也可以处理一组称为批处理的记录。
pig执行批处理,因为它不逐个处理输入记录,实际上,pig将输入路径中的所有可用记录作为一个批加载。
map-reduce是为批处理而设计的数据处理框架,mapreduce是指批处理,而批处理不是mapreduce。