我知道也有类似的问题，比如：
https://stackoverflow.com/questions/8232194/pros-and-cons-of-celery-vs-disco-vs-hadoop-vs-other-distributed-computing-packag
区分celery 、酸菜、酸菜和rabbitmq/ironmq
但我问这个问题是因为我在寻找一个更特殊的区别，并辅以几个用例示例。
所以，我是一个python用户，他想制作一个或两个程序：
都太大了
时间太长了
在一台机器上执行，并在多台机器上处理它们。我熟悉python中的（单机）多处理包，我现在正在编写mapreduce风格的代码。例如，我知道我的函数很容易并行化。
在问我通常的聪明的cs建议者时，我的问题措辞如下：
“我想把一个任务，分成一堆子任务，这些子任务在一堆机器上同时执行，然后这些结果被聚合起来，并根据其他一些函数进行处理，例如，这些函数可以是reduce，也可以是串行添加到数据库中的指令。”
根据我的用例分解，我认为我同样可以很好地使用hadoop或一组celery 工人+rabbitmq代理。然而，当我向智者们提出建议时，他们的回答就好像我把hadoop和celery 当作可比的解决方案一样，简直是疯了。我读了很多关于hadoop的书，也读了一些关于celery 的书——我想我对两者的作用都有很好的理解——但我似乎不明白的是：
为什么他们被认为是如此分离，如此不同？
考虑到它们似乎被视为完全不同的技术——以什么方式？有哪些用例可以区分一个和另一个，或者对一个比另一个更好？
两种方法都能解决哪些问题？在哪些方面使用其中一种方法会特别愚蠢？
有没有更好、更简单的方法来实现多处理，比如pool.map（）——多台机器的功能？假设我的问题不受存储的限制，而是受计算所需的cpu和ram的限制，因此没有太少的空间来保存从worker返回的结果的问题(也就是说，我在做一些类似于模拟的事情，我需要在较小的机器上生成很多东西，这些东西是由数据库中的一个值播种的，但是在它们返回到源机器/数据库之前，这些东西会减少。）
我知道hadoop是大数据标准，但是celery 看起来也很受支持；我很欣赏它不是java（python必须用于hadoop的流api让我觉得不舒服），所以我倾向于使用celery 选项。