如何让hive提供更详细的错误信息?

46qrfjad  于 2021-06-27  发布在  Hive
关注(0)|答案(2)|浏览(640)

当我跑的时候 hive ,显示以下错误

[hadoop@a74f90aecdad tmp]$ hive
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/hive/lib/log4j-slf4j-impl-2.10.0.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
Exception in thread "main" java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V
    at org.apache.hadoop.conf.Configuration.set(Configuration.java:1357)
    at org.apache.hadoop.conf.Configuration.set(Configuration.java:1338)
    at org.apache.hadoop.mapred.JobConf.setJar(JobConf.java:536)
    at org.apache.hadoop.mapred.JobConf.setJarByClass(JobConf.java:554)
    at org.apache.hadoop.mapred.JobConf.<init>(JobConf.java:448)
    at org.apache.hadoop.hive.conf.HiveConf.initialize(HiveConf.java:5141)
    at org.apache.hadoop.hive.conf.HiveConf.<init>(HiveConf.java:5099)
    at org.apache.hadoop.hive.common.LogUtils.initHiveLog4jCommon(LogUtils.java:97)
    at org.apache.hadoop.hive.common.LogUtils.initHiveLog4j(LogUtils.java:81)
    at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:699)
    at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:683)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.apache.hadoop.util.RunJar.run(RunJar.java:323)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:236)

这是什么意思?有没有可能展示更多的细节?

ct2axkht

ct2axkht1#

当使用一个版本的jar编译程序并在同一jar的另一个(通常是旧的)版本上执行时,会弹出这个错误。在这种情况下,hadoop和hive之间的guavajar文件版本可能会有冲突。
步骤1:转到hadoop安装目录/share/hadoop/common/lib并检查guava.jar版本
第2步:现在转到hive\u installation\u dir/lib,比较guava文件版本的hive和hadoop。如果它们不相同,则删除其中的旧版本,并复制其中的新版本。

9njqaruj

9njqaruj2#

总结我对超级用户的一个类似问题的回答:https://superuser.com/a/1501841/115371
hadoopcore在hadoop-15960中更新了其guava版本,该版本在hadoop3.0.4、3.1.3和3.2.1中发布。
Hive3.1.2提供了自己不兼容的guava版本,而不仅仅是 lib/guava-*.jar ,但也 hive-exec-*.jar ,一个“胖jar”,可以重新打包几个外部库。hive services/cli在没有 hive-exec-*.jar ,这意味着我们不能删除 guava-*.jar 解决兼容性问题。
目前,唯一的选择是:
从最新的源代码构建hive,其中应包括hive-22126以解决 hive-exec-*.jar 问题,或
使用hadoop 3.0.3、3.2.0或3.1.2,即hadoop-15960之前的最新版本。但是请注意,这些hadoop版本中附带的guava jar有一个已知的漏洞:cve-2018-10237。

相关问题