我只是想理解为什么默认情况下sqoop会启动4个Map器？在某些情况下，如果我们将mappers提高到8，就有可能获得更好的性能。那么，选择默认Map器4的标准是什么呢？提前谢谢。
f4t66c6m1#
我将引用ApacheSqoop官方网站上的7.2.4.1控制并行性。默认情况下，使用四个任务。通过将此值增加到8或16，某些数据库的性能可能会得到改善。不要增加比mapreduce集群中可用的并行度更大的并行度；任务将连续运行，可能会增加执行导入所需的时间。同样地，不要将并行度提高到数据库可以合理支持的水平以上。将100个并发客户机连接到数据库可能会增加数据库服务器的负载，从而影响性能。所以你的答案是 Performance Issues. 为了在正常情况下获得更好的性能，决定将此值命名为default。希望有帮助。
Performance Issues.
1条答案
按热度按时间f4t66c6m1#
我将引用ApacheSqoop官方网站上的7.2.4.1控制并行性。
默认情况下，使用四个任务。通过将此值增加到8或16，某些数据库的性能可能会得到改善。
不要增加比mapreduce集群中可用的并行度更大的并行度；任务将连续运行，可能会增加执行导入所需的时间。
同样地，
不要将并行度提高到数据库可以合理支持的水平以上。将100个并发客户机连接到数据库可能会增加数据库服务器的负载，从而影响性能。
所以你的答案是
Performance Issues.为了在正常情况下获得更好的性能，决定将此值命名为default。希望有帮助。