eclipse—如何克服hadoop中的java.lang.CompatibleClassChangeError

jutyujz0  于 2021-06-04  发布在  Hadoop
关注(0)|答案(1)|浏览(347)

我得到了不兼容的ClassChangeError::找到了接口org.apache.hadoop.mapreduce.taskattemptcontext,但需要类,

Mainclass plugin:
==================     

 <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-jar-plugin</artifactId>
            <version>2.4</version>
            <configuration>
                <archive>
                    <manifest>
                        <addClasspath>true</addClasspath>
                        <classpathPrefix>lib/</classpathPrefix>
                        <mainClass>com.calsoftlabs.ndt.PcapMain</mainClass>
                    </manifest>
                </archive>
            </configuration>
        </plugin>

shaded plugin:
============
    <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>1.7.1</version>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>
                        <configuration>
                            <artifactSet>
                            signed jars
                                 <excludes>
                                    <exclude>bouncycastle:bcprov-jdk15</exclude>
                                </excludes>
                            </artifactSet>

                             <transformers>
                                <transformer
                                    implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
                                    Main class
                                    <mainClass>com.calsoftlabs.ndt.PcapMain</mainClass>
                                </transformer>

                         </transformers>
                        </configuration>
                    </execution>
                </executions>
            </plugin>

我得到了两个jar:1)original-pcapsample-0.0.1-snapshot.jar-->由于着色插件2)pcapsample-0.0.1-snapshot.jar-->由于主类插件
--->当我使用着色插件jar时,线程“main”java.lang.classnotfoundexception:pcap中出现异常
--->当我使用第二个jar时,我得到了不兼容的ClassChangeError
--->实际上,我正在尝试从这个url使用pcapinputformat类https://github.com/ripe-ncc/hadoop-pcap/blob/master/hadoop-pcap-lib/src/main/java/net/ripe/hadoop/pcap/io/pcapinputformat.java
--->我在pom.xml中添加了hadoop pcap lib(来自上面指定的url)依赖项,并尝试使用该pcapinputformat
--->我现在能做些什么来克服这个问题。有人能就这个问题提出建议吗。。。

sqserrrh

sqserrrh1#

TaskAttemptContext 从Hadoop1中的类更改为Hadoop2中的接口。很明显,您使用的jar是针对hadoop1api构建的,尽管他们声称相反,hadoop2对任何应用程序都不向后兼容,只对最简单的应用程序兼容。

相关问题