在处理数据之间,sqoop会失败吗

64jmpszr  于 2021-06-03  发布在  Sqoop
关注(0)|答案(1)|浏览(316)

当sqoop导入作业在将数据导入rdbms hdfs时失败,反之亦然,会发生什么情况?

qgzx9mmu

qgzx9mmu1#

Sqoop 可以从导出数据 HDFS 变成一个 RDBMS 使用并行数据传输任务。每个任务将打开到数据库的连接,通过事务插入数据库,并定期提交。这意味着在整个导出作业完成之前,部分数据将在数据库中可用。
如果导出Map任务在多次重试后仍失败,则整个作业将失败。任务失败的原因可能包括网络连接问题、数据库完整性约束、服务器上的错误记录 HDFS 在这种情况下,已经提交的数据仍然可以在数据库中使用。

相关问题