如何在hadoop中与所有Map器共享全局矩阵?我知道共享变量的方法是:conf.set(“testvar”,“value1”);然后在Map器中获取值:conf.get(“testvar”)但是矩阵的情况呢?是否可以在开始执行map函数之前共享矩阵?
kokeuurv1#
它可以使用hadoop的distributedcache特性来实现。distributedcache是map reduce框架提供的一个功能,用于缓存应用程序所需的文件(文本、存档、jar等)
1条答案
按热度按时间kokeuurv1#
它可以使用hadoop的distributedcache特性来实现。distributedcache是map reduce框架提供的一个功能,用于缓存应用程序所需的文件(文本、存档、jar等)