为配置单元客户端添加带有辅助jar的路径

fwzugrvs  于 2021-06-01  发布在  Hadoop
关注(0)|答案(1)|浏览(337)

我有HDP2.6.1.0-129
我为序列化的flume数据文件准备了external jar example.jar。
我在自定义配置单元站点中添加了新参数

name = hive.aux.jars.path
value hdfs:///user/libs/

确实保存了新的配置,重新启动了hadoop组件,并在更长的时间内重新启动了所有hadoop集群。
在配置单元客户端之后,我尝试运行select

select * from example_serealized_table

Hive确实返回了错误

FAILED: RuntimeException MetaException(message:org.apache.hadoop.hive.serde2.SerDeException java.lang.ClassNotFoundException: Class com.my.bigtable.example.model.gen.TSerializedRecord not found)

如何解决这个问题?
附笔
如果您在当前会话中尝试加载项,

add jar hdfs:///user/libs/example-spark-SerializedRecord.jar;

尝试将*.jar放入本地文件夹。问题是一样的。

f4t66c6m

f4t66c6m1#

我并没有说图书馆是我的同事写的。事实证明,它重新定义了影响字段日志记录级别的变量。排除库中重写的变量后,重新生成的问题就停止了。

相关问题