在作业执行期间启动的配置单元Map程序

mwyxok5s  于 2021-06-24  发布在  Hive
关注(0)|答案(0)|浏览(179)

配置单元分区有4个文件,如下所示:
我有一个256mb的文件-占用2块的hdfs
另一个150mb的文件-在hdfs上占用2个块
另一个260 mb的文件-在hdfs上占用3个块
另一个64mb的文件-占用hdfs上的1个块
hdfs默认块大小为128mb
如果在一个love分区上执行mapreduce操作,那么我的inptsplit大小是多少?将启动多少个Map器?
我的作业是否只有4个Map器,因为在小文件中,Map器是基于多个小文件创建的?
我的工作将有8个Map器,因为我有我的4个文件分布在8个块的hdfs将我的4块(第二个文件是128mb(第三块)+22mb(第四块)),其中只有22mb将与最后一个文件和表格1 inputsplit相结合?
我试着搜索了很多博客,我仍然有这种困惑

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题