我有一个10节点的hadoop集群。在10个节点中，有3个节点部署了hbase。有两个应用程序共享集群。应用程序1从hadoop hdfs写入和读取数据。应用程序2将数据存储到hbase中。在yarn中是否有方法确保application1启动的hadoop m/r作业不使用hbase节点上的插槽？我只希望应用程序2启动的hbase m/r作业使用hbase节点。这是为了确保应用程序2有足够的可用资源，以便hbase扫描非常快。关于如何做到这一点有什么建议吗？
2uluyalo1#
如果您在yarn上运行hbase和应用程序，则应用程序主机（hbase本身和mr作业）可以请求数据节点上的最大可用资源。你知道hortonworks项目hoya=hbase on yarn吗？特别是其中一个特点是：运行mr jobs，同时保持hbase的低延迟sla
1条答案
按热度按时间2uluyalo1#
如果您在yarn上运行hbase和应用程序，则应用程序主机（hbase本身和mr作业）可以请求数据节点上的最大可用资源。
你知道hortonworks项目hoya=hbase on yarn吗？
特别是其中一个特点是：
运行mr jobs，同时保持hbase的低延迟sla