当我从一个属性为date的文件向表中插入数据时，只生成了一个Map器。但是，当我从这个新表插入到另一个表中时，这次将date属性转换为year、month和day属性，产生了多个Map器。原因是什么？
fnvucqvd1#
Map器的数量取决于输入拆分。似乎您的文件作业只有一个文件作为输入，您在配置中使用了类似fileinputformat的内容。使用此设置，hadoop将创建一个Map器来处理输入。hadoop中的表输入作业通常为每个表区域创建一个Map器。由于hbase区域自动拆分功能，您的表似乎有多个区域。这就是为什么你有几个制图员。
1条答案
按热度按时间fnvucqvd1#
Map器的数量取决于输入拆分。
似乎您的文件作业只有一个文件作为输入，您在配置中使用了类似fileinputformat的内容。使用此设置，hadoop将创建一个Map器来处理输入。
hadoop中的表输入作业通常为每个表区域创建一个Map器。由于hbase区域自动拆分功能，您的表似乎有多个区域。这就是为什么你有几个制图员。