amazonemr中运行java的hadoopjar

bf1o4zei  于 2021-06-03  发布在  Hadoop
关注(0)|答案(4)|浏览(291)

我为MapReduce应用程序创建了一个自定义jar,并尝试在AmazonEMR作业流中运行它。我在hadoop1.0.4中编译了代码,但是amazonemr支持hadoop1.0.3。另外,我在jdk1.7下编译了代码,我不确定amazonemr使用哪个版本的java,我们在哪里可以更改它?
这是stacktrace

Exception in thread "main" java.lang.UnsupportedClassVersionError: com/test/GWASMapReduce : Unsupported major.minor version 51.0
at java.lang.ClassLoader.defineClass1(Native Method)
at java.lang.ClassLoader.defineClassCond(ClassLoader.java:631)
at java.lang.ClassLoader.defineClass(ClassLoader.java:615)
at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:141)
at java.net.URLClassLoader.defineClass(URLClassLoader.java:283)
at java.net.URLClassLoader.access$000(URLClassLoader.java:58)
at java.net.URLClassLoader$1.run(URLClassLoader.java:197)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
at java.lang.ClassLoader.loadClass(ClassLoader.java:247)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:247)
at org.apache.hadoop.util.RunJar.main(RunJar.java:180)
qzwqbdag

qzwqbdag1#

amazonemr似乎不支持java7。您将需要尝试编译jar以针对较旧的jvm:

javac -target 1.6 -cp .... etc
qq24tv8q

qq24tv8q2#

emr平台仍然不支持Java7,请参见此处

xriantvc

xriantvc3#

它现在支持了一段时间。最低版本为ami 2.4。看到了吗http://docs.aws.amazon.com/elasticmapreduce/latest/developerguide/ami-versions-supported.html

v440hwme

v440hwme4#

根据muel,java7不受amazonemr支持,到目前为止,amazonemr支持版本1.0.3、0.20.205。

相关问题