当sqoop导入作业在将数据导入rdbms hdfs时失败,反之亦然,会发生什么情况?
qgzx9mmu1#
Sqoop 可以从导出数据 HDFS 变成一个 RDBMS 使用并行数据传输任务。每个任务将打开到数据库的连接,通过事务插入数据库,并定期提交。这意味着在整个导出作业完成之前,部分数据将在数据库中可用。如果导出Map任务在多次重试后仍失败,则整个作业将失败。任务失败的原因可能包括网络连接问题、数据库完整性约束、服务器上的错误记录 HDFS 在这种情况下,已经提交的数据仍然可以在数据库中使用。
Sqoop
HDFS
RDBMS
1条答案
按热度按时间qgzx9mmu1#
Sqoop
可以从导出数据HDFS
变成一个RDBMS
使用并行数据传输任务。每个任务将打开到数据库的连接,通过事务插入数据库,并定期提交。这意味着在整个导出作业完成之前,部分数据将在数据库中可用。如果导出Map任务在多次重试后仍失败,则整个作业将失败。任务失败的原因可能包括网络连接问题、数据库完整性约束、服务器上的错误记录
HDFS
在这种情况下,已经提交的数据仍然可以在数据库中使用。