sqoop增量语义异常没有匹配的文件hdfs://host/user/xyz/_sqoop/ 错误?

7kqas0il  于 2021-05-31  发布在  Hadoop
关注(0)|答案(1)|浏览(346)

我正在尝试创建一个保存的sqoop作业(增量)并使用sqoop元存储库作为存储库出于安全原因,“xyz”是运行作业的unix用户,示例表(仅供参考)

sqoop job -Dhadoop.security.credential.provider.path=jceks://path/to/pwd \
--meta-connect "jdbc:hsqldb:file:/tmp/sqoop-meta.db;shutdown=true" \
--create sample_job --import -Dmapred.job.queue.name=realtime \
--connect jdbc:mysql://hostname/db?zeroDateTimeBehavior=convertToNull \
--driver com.mysql.jdbc.Driver \
--table SAMPLE_TABLE -m 1 \
--username tony \
--password-alias pwd \
--incremental lastmodified \
--check-column ts \
--last-value 2018-04-24 \
--target-dir /some/tmp/location/ \
--map-column-hive XYZ=tinyint \
--null-string '' \
--null-non-string ''

使用本地sqoop元存储,在执行存储的作业时也使用该元存储。

sqoop job --meta-connect "jdbc:hsqldb:file:/tmp/sqoop-meta.db;shutdown=true" -exec sample_job

sqoop运行良好,我可以看到数据被拉到hdfs位置。然而,在最后得到这个错误。似乎到处都找不到解决办法。已尝试授予对\u sqoop目录的完全权限,但问题仍然相同。

Logging initialized using configuration in jar:file:/usr/hdp/2.6.4.0-91/hive/lib/hive-common-1.2.1000.2.6.4.0-91.jar!/hive-log4j.properties
    OK
    Time taken: 3.028 seconds
    FAILED: SemanticException Line 2:17 Invalid path ''hdfs://hostname/user/xyz/_sqoop/ad240610c282442cb65b61b14f582935_sample_table'': No files matching path hdfs://vBAPUAT01nn/user/xyz/_sqoop/ad240610c282442cb65b61b14f582935_sample_table

但是上面的文件不在sqoop位置。相反,每次我运行sqoop操作时,都会看到创建了一个不同名称的新文件/sqoop公司/

$ hadoop fs -ls /user/pcjaapp/_sqoop/
drwxrwxrwx   - xyz hdfs          0 2018-04-26 16:31 /user/xyz/_sqoop/1ab0f2de2ace4984b7b978af5f8f8336_sample_table
drwxr-xr-x   - xyz hdfs          0 2018-04-27 10:50 /user/xyz/_sqoop/3aedb9fc0857433f8388ae2c70019d93_sample_table
drwxrwxrwx   - xyz hdfs          0 2018-04-26 16:54 /user/xyz/_sqoop/6dfb90bcf7854f5e82efebbcd317cabe_sample_table
drwxrwxrwx   - xyz hdfs          0 2018-04-26 15:29 /user/xyz/_sqoop/a59b80e855734c35b785bdc35dcbd5a6_sample_table
drwxrwxrwx   - xyz hdfs          0 2018-04-26 14:30 /user/xyz/_sqoop/b77d4b88140e469daa5aa0962b56b562_sample_table

有人能解释一下这里到底发生了什么吗。在这个领域相当新,因为这是第一次尝试使用metastore启动sqoop增量作业。

nue99wik

nue99wik1#

我挖掘了官方文档和hortonworks资源,通过从sqoop命令中删除以下参数,终于能够解决这个问题:

--hive-import \
--map-column-hive XYZ=tinyint \

我意识到在这种情况下,通过将tinyint转换作为字符串传递,可以忽略它。如果使用上述命令,sqoop也需要“--hiveimport”子句,这就是它失败的地方,因为每次sqoop时它都需要一个底层表。当删除上面的子句+map column hive参数时,sqoop成功完成并能够用最后一个值更新metastore。

相关问题