googleappengine中taskqueue和mapreduce的区别

kyks70gy  于 2021-06-01  发布在  Hadoop
关注(0)|答案(1)|浏览(360)

我读过关于 taskqueue 把排队的人推进来 gae 用于创建长时间运行的任务。
我不明白为什么需要 MapReduce ? 由于两者都是在后台进行处理,它们之间的主要区别是什么。
有人能解释一下吗?
编辑:我想我是在拿苹果和猴子做比较!hadoop,mapreduce都是相关的。gae是一个后端框架。

7tofc5zh

7tofc5zh1#

你被完全不同的两件事弄糊涂了。 MapReduce 范例是关于对大量数据的分布式并行处理。 TaskQueue 是一个调度程序;它可以安排一个任务在某个时间执行。它只是一个类似于unix的调度器 cronjobs .
请注意以上语句中粗体和斜体字的区别。
从taskqueue的定义
任务队列允许应用程序在用户请求之外异步执行称为任务的工作。如果应用程序需要在后台执行工作,它会将任务添加到任务队列中。这些任务稍后由辅助服务执行。
根据定义, TaskQueue 在用户请求之外工作;意味着没有实际的用户请求来执行 task (只是在过去的某个时间提交/安排)。 mapreduce 程序由用户提交执行,但您可以使用 TaskQueue 在将来安排一次。
你可能会因为这样的字眼而感到困惑 task , queue , scheduling 用于 mapreduce 世界。但这些都是 mapreduce 可能有一些相似之处,因为它们是通用术语-但它们肯定不一样。

相关问题