zookeeper支持的共享Map(小键值存储)

sbdsn5lh  于 2021-06-03  发布在  Hadoop
关注(0)|答案(0)|浏览(219)

我有一堆 Hadoop MapReduce 需要共享一些“活的”小键值存储的应用程序(作业)。实际上,它是关于在作业过程中根据某些字符串条件生成的字符串id。
看起来像是共享的 Map<String,String> 可以修改,值可以在 MapReduce 作业组件(在我的例子中是Map器,但这并不重要)。
我认为可见的方法是 Apache ZooKeeper . 我的电脑上已经有这项服务了 Hadoop 集群。我需要的是可靠的 ZooKeeper -动力 KeyValue 储存。目前,我认为它是一个声明的应用程序,但我没有看到好的实现。有什么建议吗?在这种情况下,我需要临时节点(因为mapreduce作业的生存时间有限)。
我发现目前最好的选择是 Curator 框架包含 SharedValue 看起来像我需要的。但我没有看到任何使用它的例子,无论是在食谱或例子。有什么例子吗?
对于这个问题,还有其他好的实现方法或现成的解决方案吗?先谢谢你。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题