例如，我运行配置单元查询“select count（1）from db.table_name；”。然后hive将转换为mapreduce，然后提交给resourcemanager。hadoop的概念是将应用程序部署在数据存在的节点上。但是，resourcemanager不知道数据在哪里。如何在resourcemanager中部署任务？非常感谢你。
am46iovg1#
您不必担心数据的位置。hadoop在为作业调度任务时负责数据局部性。namenode提供了有关要处理的文件块的位置的信息（在hdfs中）。hadoop使用这些信息在这些机器上启动任务并处理数据。作为一个开发人员，你是从这些信息中抽象出来的
1条答案
按热度按时间am46iovg1#
您不必担心数据的位置。hadoop在为作业调度任务时负责数据局部性。
namenode提供了有关要处理的文件块的位置的信息（在hdfs中）。hadoop使用这些信息在这些机器上启动任务并处理数据。作为一个开发人员，你是从这些信息中抽象出来的