我正在尝试使用cloudera hadoop发行版开发mrjob。我正在使用api版本2。我和单位先生确实有麻烦。请告诉我该怎么做。我用的是标准的阿赫特字体,完全迷路了,我不明白问题的症结在哪里。以下是我的依赖项:
<dependency>
<groupId>com.cloudera.hadoop</groupId>
<artifactId>hadoop-core</artifactId>
<version>0.20.2-320</version>
<scope>provided</scope>
</dependency>
<dependency>
<groupId>com.cloudera.hadoop</groupId>
<artifactId>hadoop-mrunit</artifactId>
<version>0.20.2-320</version>
<scope>test</scope>
</dependency>
这是我的测试代码:
@Test
public void testEmptyOutput() throws Exception{
for(String line : linesFromFlatFile){
//List<Pair<GetReq, IntWritable>> output =
driver.withInput(UNUSED_LONG_KEY, new Text(line) )
// .withOutput(null, null )
.run();
//assertTrue("", output.isEmpty());
}
}
这里有一个例外:
> Tests run: 1, Failures: 0, Errors: 1, Skipped: 0, Time elapsed: 0.283
> sec <<< FAILURE!
> testEmptyOutput(MapperTest)
> Time elapsed: 0.258 sec <<< ERROR! java.lang.NoSuchMethodError:
> org.apache.hadoop.mapreduce.TaskAttemptID.<init>(Ljava/lang/String;IZII)V
> at
> org.apache.hadoop.mrunit.mapreduce.mock.MockMapContextWrapper$MockMapContext.<init>(MockMapContextWrapper.java:71)
> at
> org.apache.hadoop.mrunit.mapreduce.mock.MockMapContextWrapper.getMockContext(MockMapContextWrapper.java:144)
> at
> org.apache.hadoop.mrunit.mapreduce.MapDriver.run(MapDriver.java:197)
> at
MapperTest.testEmptyOutput(ScoringCounterMapperTest.java:42)
package mypackage;
import java.util.Date;
import java.util.List;
import junit.framework.TestCase;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mrunit.mapreduce.MapDriver;
import org.apache.hadoop.mrunit.types.Pair;
import org.junit.Before;
import org.junit.Test;
import Sample;
import GetReq;
public class MapperTest extends TestCase {
private static final IntWritable ONE_OCCURANCE = new IntWritable(1);
private static final LongWritable UNUSED_LONG_KEY = new LongWritable(new Date().getTime());
private Mapper<LongWritable, Text, GetReq, IntWritable> mapper;
private MapDriver<LongWritable, Text, GetReq, IntWritable> driver;
List<String> linesFromFlatFileNoOutput = null;
List<String> linesFromFlatFileWithOutput = null;
@Before
public void setUp() {
mapper = newMapper();
driver = new MapDriver<LongWritable, Text, GetReq, IntWritable>(mapper);
Mapper.METADATA_CSV ="../../data/metadata.csv"; //ugly hook
linesFromFlatFileNoOutput = Sample.instance.getLinesFromFlatFileNoOutput();
linesFromFlatFileWithOutput = Sample.instance.getLinesFromFlatFileWithOutput();
}
@Test
public void testEmptyOutput() throws Exception{
for(String line : linesFromFlatFileNoOutput){
//List<Pair<GetReq, IntWritable>> output =
driver.withInput(UNUSED_LONG_KEY, new Text(line) )
.withOutput(null, null )
.runTest();
//assertTrue("", output.isEmpty());
}
}
@Test
public void testResultOutput() throws Exception{
for(String line : linesFromFlatFileWithOutput){
driver.withInput(UNUSED_LONG_KEY, new Text(line) )
//.withOutput(null, null )
.runTest();
}
}
}
嗯。。。我没有改变pom.xml中的任何内容,现在我得到了输出和相同的exeption。看起来Map器只运行过一次。或是要跑的地方。我从mapper body获得调试输出。
upd:我添加了分类器并更改了依赖关系:
<dependency>
<groupId>org.apache.mrunit</groupId>
<artifactId>mrunit</artifactId>
<version>0.9.0-incubating</version>
<classifier>hadoop2</classifier>
<scope>test</scope>
</dependency>
现在我确实遇到了另一个问题:
找到接口org.apache.hadoop.mapreduce.counter,但应为类
在线:
context.getCounter(EnumCounter.MATCHED_RECORDS).increment(1);
我又做错什么了?
2条答案
按热度按时间7lrncoxx1#
我以前见过这样的问题,当依赖项的错误版本被拉入运行时时。以前有两件事帮我解决了这类问题:
将hadoop核心依赖项的“provided”改为“compile”。这只是强制在运行时使用正确的版本。无论哪种方式,都要回到“提供”。
在eclipse中,转到pom编辑器的dependency hierarchy选项卡。您可以在这里看到,如果您选择的依赖项加在一起,是指其中一个间接依赖项的多个版本。如果找到这样的版本,请使用maven排除和显式依赖项块来选择要使用的版本。
sdnqo3pr2#
我找到了解决方法:nee为mr单元添加分类器标签。它应该看起来像:
现在我遇到了另一个问题:找到了接口org.apache.hadoop.mapreduce.counter,但类应该在counter increment上。这个问题与一些bug有关。