我有一堆 Hadoop MapReduce
需要共享一些“活的”小键值存储的应用程序(作业)。实际上,它是关于在作业过程中根据某些字符串条件生成的字符串id。
看起来像是共享的 Map<String,String>
可以修改,值可以在 MapReduce
作业组件(在我的例子中是Map器,但这并不重要)。
我认为可见的方法是 Apache ZooKeeper
. 我的电脑上已经有这项服务了 Hadoop
集群。我需要的是可靠的 ZooKeeper
-动力 KeyValue
储存。目前,我认为它是一个声明的应用程序,但我没有看到好的实现。有什么建议吗?在这种情况下,我需要临时节点(因为mapreduce作业的生存时间有限)。
我发现目前最好的选择是 Curator
框架包含 SharedValue
看起来像我需要的。但我没有看到任何使用它的例子,无论是在食谱或例子。有什么例子吗?
对于这个问题,还有其他好的实现方法或现成的解决方案吗?先谢谢你。
暂无答案!
目前还没有任何答案,快来回答吧!