我有一个小的hadoop/hive集群（总共6个节点）。使用“hadoop-dfsadmin-report”，我看到数据节点运行良好，并且连接良好。另外，在配置单元表中添加数据时，可以看到数据分布在整个节点上(随着所用磁盘空间的增加，易于检查）。
我试图在一个表上创建一些索引。在jobtracker http接口中，我只看到一个节点可用。我尝试运行多个查询（我使用mysql来获取元数据），但它们似乎只在安装了配置单元的节点上运行。
基本上，我的问题是如何使jobtracker也利用其他节点。
我有一个小的hadoop/hive集群（总共6个节点）。使用“hadoop-dfsadmin-report”，我看到数据节点运行良好，并且连接良好。另外，在配置单元表中添加数据时，可以看到数据分布在整个节点上(随着所用磁盘空间的增加，易于检查）。
我试图在一个表上创建一些索引。在jobtracker http接口中，我只看到一个节点可用。我尝试运行多个查询（我使用mysql来获取元数据），但它们似乎只在安装了配置单元的节点上运行。
基本上，我的问题是如何使jobtracker也利用其他节点。
1条答案
按热度按时间jum4pzuy1#
从你所说的来看：
datanodes在所有节点上都正常运行，并且能够与namenode通信。
任务跟踪器没有在除一个节点外的所有节点上运行，或者由于某种原因无法与作业跟踪器通信。
在检查任务跟踪器是否确实在运行之后-阅读他们的日志，找出他们与jobtracker通信的问题所在。