在hadoop中共享全局矩阵

8dtrkrch  于 2021-06-04  发布在  Hadoop
关注(0)|答案(1)|浏览(295)

如何在hadoop中与所有Map器共享全局矩阵?
我知道共享变量的方法是:
conf.set(“testvar”,“value1”);
然后在Map器中获取值:
conf.get(“testvar”)
但是矩阵的情况呢?是否可以在开始执行map函数之前共享矩阵?

kokeuurv

kokeuurv1#

它可以使用hadoop的distributedcache特性来实现。distributedcache是map reduce框架提供的一个功能,用于缓存应用程序所需的文件(文本、存档、jar等)

相关问题