场景:您正在编写一个mr作业,该作业将使用Map器处理数据,然后使用缩减器将生成的数据直接插入到外部rdbms中。您必须确保做什么??为什么预请求:1.确保提交作业的客户机上存在数据库驱动程序。2.禁用数据插入作业的推测执行
kmbjn2e31#
1) 如果忘记禁用推测性执行,则可能会运行给定reducer的多个示例,这将导致rdbms中的数据超出预期。2) 即使我们需要客户机的数据库驱动程序,如果您计划从该客户机连接到rdbms,也不需要它。所以“1”选项是正确的。我得到了这个解决方案,任何人都可以改进这个答案或者让我纠正任何问题。谢谢您
1条答案
按热度按时间kmbjn2e31#
1) 如果忘记禁用推测性执行,则可能会运行给定reducer的多个示例,这将导致rdbms中的数据超出预期。2) 即使我们需要客户机的数据库驱动程序,如果您计划从该客户机连接到rdbms,也不需要它。
所以“1”选项是正确的。
我得到了这个解决方案,任何人都可以改进这个答案或者让我纠正任何问题。谢谢您