在我的情况下，我需要知道我是否在jobcontrol中有2个作业，然后我有200个map node我的块大小是64 mb，所以完整的处理数据应该是（64*200=12.8gb），但是第一个作业大小是10 gb如果map node有空插槽，hadoop怎么办？hadoop将处理队列中的第二个作业或等待第一个作业Map减少完成并处理第二个作业或其他方式请建议
在我的情况下，我需要知道我是否在jobcontrol中有2个作业，然后我有200个map node我的块大小是64 mb，所以完整的处理数据应该是（64*200=12.8gb），但是第一个作业大小是10 gb如果map node有空插槽，hadoop怎么办？hadoop将处理队列中的第二个作业或等待第一个作业Map减少完成并处理第二个作业或其他方式请建议
1条答案
按热度按时间2w3kk1z51#
如果您使用的是hadoop的fifo调度程序，并且以同一用户的身份运行两个作业，那么只有在运行第一个作业时有足够的空闲map/reduce插槽可用时，第二个作业才会开始运行。即使有，调度程序也会优先选择第一个作业，而不是第二个作业。因此，hadoop将等待第一个作业完成，然后再安排第二个作业。
通常不建议文件小于输入拆分大小，因为与单个大文件相比，namenode必须管理更多的文件inode。