java.lang.nosuchmethoderror:org.apache.hadoop.mapreduce.taskattemptid运行mrunit时

hk8txs48  于 2021-06-03  发布在  Hadoop
关注(0)|答案(2)|浏览(385)

我正在尝试使用cloudera hadoop发行版开发mrjob。我正在使用api版本2。我和单位先生确实有麻烦。请告诉我该怎么做。我用的是标准的阿赫特字体,完全迷路了,我不明白问题的症结在哪里。以下是我的依赖项:

<dependency>
            <groupId>com.cloudera.hadoop</groupId>
            <artifactId>hadoop-core</artifactId>
            <version>0.20.2-320</version>
            <scope>provided</scope>
        </dependency>

        <dependency>
            <groupId>com.cloudera.hadoop</groupId>
            <artifactId>hadoop-mrunit</artifactId>
            <version>0.20.2-320</version>
            <scope>test</scope>
        </dependency>

这是我的测试代码:

@Test
    public void testEmptyOutput() throws Exception{
        for(String line : linesFromFlatFile){
            //List<Pair<GetReq, IntWritable>> output = 
                    driver.withInput(UNUSED_LONG_KEY, new Text(line) )
                 // .withOutput(null, null )
                  .run();
            //assertTrue("", output.isEmpty());
        }
    }

这里有一个例外:

> Tests run: 1, Failures: 0, Errors: 1, Skipped: 0, Time elapsed: 0.283
> sec <<< FAILURE!
> testEmptyOutput(MapperTest)
> Time elapsed: 0.258 sec  <<< ERROR! java.lang.NoSuchMethodError:
> org.apache.hadoop.mapreduce.TaskAttemptID.<init>(Ljava/lang/String;IZII)V
>   at
> org.apache.hadoop.mrunit.mapreduce.mock.MockMapContextWrapper$MockMapContext.<init>(MockMapContextWrapper.java:71)
>   at
> org.apache.hadoop.mrunit.mapreduce.mock.MockMapContextWrapper.getMockContext(MockMapContextWrapper.java:144)
>   at
> org.apache.hadoop.mrunit.mapreduce.MapDriver.run(MapDriver.java:197)
>   at
MapperTest.testEmptyOutput(ScoringCounterMapperTest.java:42)

package mypackage;

import java.util.Date;
import java.util.List;

import junit.framework.TestCase;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mrunit.mapreduce.MapDriver;
import org.apache.hadoop.mrunit.types.Pair;
import org.junit.Before;
import org.junit.Test;

import Sample;
import GetReq;

public class MapperTest extends TestCase {
    private static final IntWritable ONE_OCCURANCE = new IntWritable(1);
    private static final LongWritable UNUSED_LONG_KEY = new LongWritable(new Date().getTime());

    private Mapper<LongWritable, Text, GetReq, IntWritable> mapper;
    private MapDriver<LongWritable, Text, GetReq, IntWritable> driver;

    List<String> linesFromFlatFileNoOutput = null;
    List<String> linesFromFlatFileWithOutput = null;
    @Before 
    public void setUp() {
        mapper = newMapper();
        driver = new MapDriver<LongWritable, Text, GetReq, IntWritable>(mapper);
        Mapper.METADATA_CSV ="../../data/metadata.csv"; //ugly hook
        linesFromFlatFileNoOutput = Sample.instance.getLinesFromFlatFileNoOutput();  
        linesFromFlatFileWithOutput = Sample.instance.getLinesFromFlatFileWithOutput(); 
    }

    @Test
    public void testEmptyOutput() throws Exception{
        for(String line : linesFromFlatFileNoOutput){
            //List<Pair<GetReq, IntWritable>> output = 
                    driver.withInput(UNUSED_LONG_KEY, new Text(line) )
                  .withOutput(null, null )
                  .runTest();
            //assertTrue("", output.isEmpty());
        }
    }

    @Test
    public void testResultOutput() throws Exception{
        for(String line : linesFromFlatFileWithOutput){
            driver.withInput(UNUSED_LONG_KEY, new Text(line) )
                //.withOutput(null, null )
                .runTest();
        }
    }
}

嗯。。。我没有改变pom.xml中的任何内容,现在我得到了输出和相同的exeption。看起来Map器只运行过一次。或是要跑的地方。我从mapper body获得调试输出。
upd:我添加了分类器并更改了依赖关系:

<dependency>
                <groupId>org.apache.mrunit</groupId>
                <artifactId>mrunit</artifactId>
                <version>0.9.0-incubating</version>
                <classifier>hadoop2</classifier>
                <scope>test</scope>
            </dependency>

现在我确实遇到了另一个问题:
找到接口org.apache.hadoop.mapreduce.counter,但应为类
在线:

context.getCounter(EnumCounter.MATCHED_RECORDS).increment(1);

我又做错什么了?

7lrncoxx

7lrncoxx1#

我以前见过这样的问题,当依赖项的错误版本被拉入运行时时。以前有两件事帮我解决了这类问题:
将hadoop核心依赖项的“provided”改为“compile”。这只是强制在运行时使用正确的版本。无论哪种方式,都要回到“提供”。
在eclipse中,转到pom编辑器的dependency hierarchy选项卡。您可以在这里看到,如果您选择的依赖项加在一起,是指其中一个间接依赖项的多个版本。如果找到这样的版本,请使用maven排除和显式依赖项块来选择要使用的版本。

sdnqo3pr

sdnqo3pr2#

我找到了解决方法:nee为mr单元添加分类器标签。它应该看起来像:

<dependency> 
<groupId>org.apache.mrunit</groupId> 
<artifactId>mrunit</artifactId> 
<version>0.9.0-incubating</version> 
<classifier>hadoop2</classifier> 
<scope>test</scope> 
</dependency>

现在我遇到了另一个问题:找到了接口org.apache.hadoop.mapreduce.counter,但类应该在counter increment上。这个问题与一些bug有关。

相关问题