我想做一个非常简单的 MapReduce 实施。
我真的不需要一个真正的分布式系统，因为它们是不同的机器。这是一个私人项目，太复杂了。我只希望工作节点能够注册到head节点。然后我希望能够告诉head节点使用给定的函数对数据集运行map或reduce。然后，主节点可以将部分工作卸载到工作节点。
我的问题是：我应该如何将实际函数发送到工作节点，以便它们知道如何处理它们所拥有的数据？
因此，假设作为一个客户机，我希望执行以下操作（以python为例）： [1, 2, 3, 4].map(lambda x: x * 2) （但函数和数据集可能要复杂得多）。
如何在不产生太多开销的情况下将函数传递给节点？
我的最佳想法是将函数序列化为字符串，然后在另一端反序列化，但这似乎很慢。另一种想法是在发送之前编译它，但这会导致大量的复杂性。
我试着研究hadoop是如何工作的，看看我是否可以制作一个简化的版本，但显然他们的解决方案要复杂得多。