pig hcatalog无法从配置单元表中读取数据

yc0p9oo0  于 2021-06-21  发布在  Pig
关注(0)|答案(2)|浏览(335)
grunt> table_load = load ‘test_table_one’ USING org.apache.hive.hcatalog.pig.HCatLoader();
grunt> dump table_load;

2016-10-05 17:25:43798[main]info org.apache.hadoop.conf.configuration.deprecation–fs.default.name已弃用。相反,请使用fs.defaultfs 2016-10-05 17:25:43930[main]info hive.metastore–尝试使用uri连接到metastorethrift://localhost:9084 2016-10-05 17:25:43931[main]info hive.metastore–已打开到metastore的连接,当前连接:1 2016-10-05 17:25:43934[main]info hive.metastore–已连接到metastore…2016-10-05 17:25:58707[main]info org.apache.pig.backend.hadoop.executionengine.mapreducelayer.mapreducelauncher–hadoopjobid:job_2016-10-05 17:25:58707[main]info org.apache.pig.backend.hadoop.executionengine.mapreducelayer.mapreducelauncher–处理别名表\u load 2016-10-05 17:25:58,707[main]info org.apache.pig.backend.hadoop.executionengine.mapreducelayer.mapreducelauncher–详细位置:m:表\u加载[7,13]c:r:2016-10-05 17:25:58716[main]info org.apache.pig.backend.hadoop.executionengine.mapreducelayer.mapreducelauncher–0%完成2016-10-05 17:25:58,716[main]info org.apache.pig.backend.hadoop.executionengine.mapreducelayer.mapreducelauncher–正在运行的作业是[job\u 1475669003352\u 0017]2016-10-05 17:26:13753[main]warn org.apache.pig.backend.hadoop.executionengine.mapreducelayer.mapreducelauncher–ooops!有些工作失败了!如果希望pig在发生故障时立即停止,请指定-stop\u on\u failure。2016-10-05 17:26:13753[main]info org.apache.pig.backend.hadoop.executionengine.mapreducelayer.mapreducelauncher–作业\u 1475669003352 \u 0017失败!停止运行所有相关作业2016-10-05 17:26:13753[main]info org.apache.pig.backend.hadoop.executionengine.mapreducelayer.mapreducelauncher–100%完成2016-10-05 17:26:13882[main]error org.apache.pig.tools.pigstats.mapreduce.mrpigstatutil–1个map reduce作业失败!2016-10-05 17:26:13883[main]信息org.apache.pig.tools.pigstats.mapreduce.simplepigstats–脚本统计:
hadoopversion pigversion userid startedat finishedat功能2.6.0 0.15.0 hadoop 2016-10-05 17:25:57 2016-10-05 17:26:13未知
失败!
失败的作业:jobid alias feature message outputs job\u 1475669003352\u 0017 table\u load map\u only message:作业失败!hdfs://mycluster/tmp/temp81690062/tmp2002161033,
输入:从“测试表一”读取数据失败
输出:未能在“”中生成结果hdfs://mycluster/tmp/temp81690062/tmp2002161033”
计数器:写入的记录总数:写入的字节总数:0可溢出内存管理器溢出计数:0主动溢出的包总数:0主动溢出的记录总数:0
作业编号:作业编号:1475669003352
2016-10-05 17:26:13883[main]info org.apache.pig.backend.hadoop.executionengine.mapreducelayer.mapreducelauncher–失败!2016-10-05 17:26:13889[main]error org.apache.pig.tools.grunt.grunt–错误1066:无法打开别名表的迭代器\u load details at logfile:/home/hadoop/pig \u 1475674706670.log
你能帮我找出为什么发生在我身上吗。?

wh6knrhe

wh6knrhe1#

grunt> table_load = load ‘test_table_one’ USING org.apache.hive.hcatalog.pig.HCatLoader();
grunt> dump table_load;

这可能是您尚未创建具有确切名称的配置单元表的原因。检查配置单元表和架构是否相同。在使用hcatlog之前,我们必须在加载数据的位置的顶部创建表模式。如果需要,请使用任何队列名称。在执行之前,请检查配置单元中的表。
希望能有帮助。尝试

b5buobof

b5buobof2#

任意使用 pig -useHCatalog 或使用 pig 并为hcat注册支持jar以与grunt一起工作。
您可以在使用时找到共享到hdfs中的所需jar pig -useHCatalog .

相关问题