我正在尝试hadoop的基本mapreduce程序,它的教程正在运行http://java.dzone.com/articles/hadoop-basics-creating
类的完整代码是(代码出现在上面的url上)
import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.KeyValueTextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;
public class Dictionary {
public static class WordMapper extends Mapper<Text, Text, Text, Text> {
private Text word = new Text();
public void map(Text key, Text value, Context context) throws IOException, InterruptedException {
StringTokenizer itr = new StringTokenizer(value.toString(), ",");
while (itr.hasMoreTokens()) {
word.set(itr.nextToken());
context.write(key, word);
}
}
}
public static class AllTranslationsReducer extends Reducer<Text, Text, Text, Text> {
private Text result = new Text();
public void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {
String translations = "";
for (Text val : values) {
translations += "|" + val.toString();
}
result.set(translations);
context.write(key, result);
}
}
public static void main(String[] args) throws Exception {
System.out.println("welcome to Java 1");
Configuration conf = new Configuration();
System.out.println("welcome to Java 2");
Job job = new Job(conf, "dictionary");
job.setJarByClass(Dictionary.class);
job.setMapperClass(WordMapper.class);
job.setReducerClass(AllTranslationsReducer.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(Text.class);
job.setInputFormatClass(KeyValueTextInputFormat.class);
FileInputFormat.addInputPath(job, new Path("/tmp/hadoop-cscarioni/dfs/name/file"));
FileOutputFormat.setOutputPath(job, new Path("output"));
System.exit(job.waitForCompletion(true) ? 0 : 1);
}
}
但是在日 eclipse 中运行之后;我发现了错误,
welcome to Java 1
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/commons/logging/LogFactory
at org.apache.hadoop.conf.Configuration.<clinit>(Configuration.java:73)
at Dictionary.main(Dictionary.java:43)
Caused by: java.lang.ClassNotFoundException: org.apache.commons.logging.LogFactory
at java.net.URLClassLoader$1.run(Unknown Source)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(Unknown Source)
at java.lang.ClassLoader.loadClass(Unknown Source)
at sun.misc.Launcher$AppClassLoader.loadClass(Unknown Source)
at java.lang.ClassLoader.loadClass(Unknown Source)
... 2 more
5条答案
按热度按时间mepcadol1#
当命名类成功地位于类路径中,但由于某些原因无法加载和验证时,会发生noclassdeffounderror。最常见的问题是,验证命名类所需的另一个类要么丢失,要么版本错误。
一般来说,这个错误意味着“仔细检查您的类路径中是否有所有正确的jar文件(正确的版本)”。
xwmevbvl2#
请注意,异常是noclassdeffounderror,而不是classnotfoundexception。
注意:当类在运行时不可见,但在编译时可见时,会抛出noclassdeffounderror。这可能发生在jar文件的分发或生产过程中,其中没有包含所有必需的类文件。
要修复:请检查构建时和运行时类路径中的差异。
noclassdeffounderror和classnotfoundexception不同。一个是错误,另一个是例外。
noclassdeffounderror:由于jvm在查找预期要查找的类时遇到问题而导致。在编译时工作的程序无法运行,因为找不到类文件。
classnotfoundexception:这个异常表示在类路径上找不到类,也就是说,我们正在尝试加载类定义,而包含该类的class/jar在类路径中不存在。
46scxncf3#
请读一篇文章:http://kishorer.in/2014/10/22/running-a-wordcount-mapreduce-example-in-hadoop-2-4-1-single-node-cluster-in-ubuntu-14-04-64-bit/. 它解释了如何在没有marven的情况下引用eclipse中的依赖项。然而,从我的理解来看,马尔文是首选的方式。
nafvub8i4#
noclassdeffounderror在类在运行时不可见但在编译时可见时出现。这可能与jar文件有关,因为没有包含所有必需的类文件。
因此,尝试在类路径commons-logging-1.1.1jar中添加可以从http://commons.apache.org/logging/download_logging.cgi
cmssoen25#
在本地ide(eclipse)中运行hadoopmap/reduce程序时,这是一个非常常见的错误。
您应该已经在构建路径中添加了hadoop-core.jar,这样就不会在程序中检测到编译错误。但是运行它时会出现错误,因为hadoop内核依赖于commons-logging.jar(以及其他一些jar)。您可能需要将/lib下的jar添加到构建路径中。
我建议您使用maven或其他依赖关系管理工具来管理依赖关系。