我试图在Play2.0.1Scala中运行mr作业，但无法在作业类路径中加载Map器类。每次在hadoop中运行作业时，我都会得到一个classnotfoundexception。我已经（以几种不同的方式）添加了对类的引用，以便加载相应的jar，但是没有成功。任何线索都将不胜感激。谢谢-卡洛斯。
e4eetjau1#
我猜你是在开发模式下运行job。从play dev模式运行mr job有几个问题。其中一个问题是在tasktracker节点上找不到mapper/reducer类，因为还没有创建带有mapper/reducer的jar。以下是我的解决方案：http://ben-tech.blogspot.com/2013/04/run-mapreduce-in-play-development-mode.html另一个问题是由play run命令中使用的类装入器引起的。run命令创建一个只有依赖jar的类加载器，这样在使用class.forname时类就不在类路径中。我还没有办法解决这个问题。
1条答案
按热度按时间e4eetjau1#
我猜你是在开发模式下运行job。从play dev模式运行mr job有几个问题。其中一个问题是在tasktracker节点上找不到mapper/reducer类，因为还没有创建带有mapper/reducer的jar。以下是我的解决方案：
http://ben-tech.blogspot.com/2013/04/run-mapreduce-in-play-development-mode.html
另一个问题是由play run命令中使用的类装入器引起的。run命令创建一个只有依赖jar的类加载器，这样在使用class.forname时类就不在类路径中。我还没有办法解决这个问题。