我需要一个共享（全局）变量，这是所有的Map器和还原器之间的访问。Map器只是从中读取值，但缩减器会更改一些值，以便在下一次迭代中使用。我知道distributedcache是一种这样做的技术，但是它只支持读取共享值。
webghufk1#
这正是zookeeper的初衷。zookeeper可以跟上Map器/还原器的大量读取，并且仍然能够时不时地编写一些内容。另一个选项是在配置对象中设置值。但是，这种情况只在一个作业的全局范围内持续存在。你必须自己管理这些价值观在工作中的传递。此外，在作业运行时不能结束此操作。
1条答案
按热度按时间webghufk1#
这正是zookeeper的初衷。zookeeper可以跟上Map器/还原器的大量读取，并且仍然能够时不时地编写一些内容。
另一个选项是在配置对象中设置值。但是，这种情况只在一个作业的全局范围内持续存在。你必须自己管理这些价值观在工作中的传递。此外，在作业运行时不能结束此操作。