我在分布式计算方面没有太多经验，但我想在python中创建一个脚本，将解压作业集中分发到x个服务器上，这样我就不用经常登录到在文件共享上分发解压作业的多个服务器了。对于这类任务，什么是最好的工具，我想在将来使用hadoop，但我知道的还不够，我认为这可能不是适合这份工作的工具。我在zeromq上看到过一些类似的帖子。只是想知道什么工具最适合这样的工作。
fdbelqdn1#
解压文件时，i/o绑定通常是问题所在，而不是cpu。因此，登录到多个服务器来解压同一共享上的文件只会阻塞承载该共享的（文件）服务器的网络连接。另一方面，如果您试图在不同的服务器上解压相同的文件，则根本不需要python。查看 pssh 司令部及其亲属。
pssh
1条答案
按热度按时间fdbelqdn1#
解压文件时，i/o绑定通常是问题所在，而不是cpu。因此，登录到多个服务器来解压同一共享上的文件只会阻塞承载该共享的（文件）服务器的网络连接。
另一方面，如果您试图在不同的服务器上解压相同的文件，则根本不需要python。查看
pssh司令部及其亲属。