如何使用归约器将结果数据直接插入到外部rdbms中您必须确保做什么??为什么

gg0vcinb  于 2021-05-30  发布在  Hadoop
关注(0)|答案(1)|浏览(325)

场景:您正在编写一个mr作业,该作业将使用Map器处理数据,然后使用缩减器将生成的数据直接插入到外部rdbms中。您必须确保做什么??为什么
预请求:1.确保提交作业的客户机上存在数据库驱动程序。2.禁用数据插入作业的推测执行

kmbjn2e3

kmbjn2e31#

1) 如果忘记禁用推测性执行,则可能会运行给定reducer的多个示例,这将导致rdbms中的数据超出预期。2) 即使我们需要客户机的数据库驱动程序,如果您计划从该客户机连接到rdbms,也不需要它。
所以“1”选项是正确的。
我得到了这个解决方案,任何人都可以改进这个答案或者让我纠正任何问题。谢谢您

相关问题