我正在运行一个hadoop分布式系统，它有一个主节点和一些工作节点。worker节点需要能够处理web应用程序上客户端发送的各种请求，但是只有一些worker节点能够处理某些请求，因为只有其中一些节点打开了处理这些请求的进程。由于内存限制，我无法在所有节点上运行这些进程的副本，并且我无法动态打开新进程，因为它们需要很长时间才能启动。我需要设计一个系统，使请求通过匹配的进程路由到适当的工作节点。
我认为可以使用主节点来跟踪关于工作节点上正在运行的进程的信息，并根据该信息路由所有传入的请求。有没有hadoop相关的系统可以完成这个任务？我非常喜欢使用zookeeper或mapreduce之类的工具，但我不确定这些系统是否能够针对集群中的特定节点。如果hadoop相关的系统都不适合这个任务，有没有其他好的选择（也许使用套接字在主节点和工作节点之间进行通信）？