我正在尝试使用sqoop增量作业，使用parquet文件格式，将数据从oracle导入配置单元表。但由于以下错误，作业失败
错误：org.kitesdk.data.datasetoperationexception:未能附加{“clg\u id”：“5”，…19/03/27 00:37:06 info mapreduce.job:任务id:尝试\u 15088 \u 130 \u m\u 000 \u 2，状态：失败
查询以创建保存的作业：
sqoop作业-dhadoop.security.credential.provider.path=jceks://xx --create job1—导入—连接“jdbc:oracle：thinxx”--详细--用户名user1--密码别名alisas--查询“select clg\u id，…”，。。。。from clg\u tbl where$conditions”--as parquetfile--incremental append--check column clg\u ts--target dir/hdfs/clg\u data/-m1
导入查询：
sqoop作业-dhadoop.security.credential.provider.path=jceks:/xx--exec job1--connect“jdbc:oracle：”--用户名user1--密码别名alisas--查询“select clg\u id，…”，。。。。从clg\u tbl，其中$conditions”--target dir/hdfs/clg\u data/-m1--配置单元导入--配置单元数据库clg\u db--配置单元表clg\u table--作为parquetfile
1条答案
按热度按时间jgzswidk1#
此错误是已知问题。几周前我们也遇到了同样的问题，我们发现了这个问题。
这是链接。
问题或行为的描述
在HDP3中，托管配置单元表必须是事务性的（hive.strict.managed.tables=true）。配置单元不支持具有Parquet格式的事务表。带有--as parquetfile的配置单元导入必须通过指定--external table dir来使用外部表。
关联的错误消息
由于以下原因，表db.table未能通过严格的托管表检查：表被标记为托管表，但不是事务性的。变通办法
使用--hive import with--as parquetfile时，用户还必须为--external table dir提供表的完全限定位置：
sqoop导入--配置单元导入--作为parquetfile--外部表目录hdfs:///path/to/table