我正在寻找一个python库，它可以跨几个服务器分发任务。该任务将类似于 subprocess 一台机器上的图书馆。我知道我可以为此目的设置hadoop系统。不过，hadoop很重。在我的例子中，我想使用一个共享的网络磁盘进行数据i/o，并且我不需要任何花哨的故障恢复。用mapreduce的术语来说，我只需要Map器，不需要聚合器或还原器。python中有这样的库吗？谢谢！
subprocess
u1ehiz5o1#
试着用celery 。celery 是一种基于分布式消息传递的异步任务队列/作业队列。它专注于实时操作，但也支持调度。这些执行单元称为tasks，使用multiprocessing、eventlet或gevent在单个或多个工作服务器上并发执行。任务可以异步执行（在后台）或同步执行（等待就绪）。
1条答案
按热度按时间u1ehiz5o1#
试着用celery 。
celery 是一种基于分布式消息传递的异步任务队列/作业队列。它专注于实时操作，但也支持调度。
这些执行单元称为tasks，使用multiprocessing、eventlet或gevent在单个或多个工作服务器上并发执行。任务可以异步执行（在后台）或同步执行（等待就绪）。