我试图在hdinsight hbase集群上使用phoenix csv批量加载工具加载数据集(280gb)。作业失败,出现以下错误:
18/02/23 06:09:10 info mapreduce.job:任务id:尝试\u 1519326441231 \u 0004 \u m \u 000067 \u 0,状态:failederror:java堆spacecontainer被applicationmaster终止。container应请求终止。退出代码为143,容器退出时的退出代码为非零143
以下是我的群集配置:
Region Nodes
8 cores, 56 GB RAM, 1.5TB HDD
Master Nodes
4 cores, 28GB, 1.5TB HDD
我尝试将yarn.nodemanager.resource.memory-mb的值从5gb增加到38gb,但作业仍然失败。
有人能帮我解决这个问题吗?
1条答案
按热度按时间h22fl7wq1#
你能提供更多细节吗?比如你是怎么开始工作的?你是按照这里的指示来的吗-https://blogs.msdn.microsoft.com/azuredatalake/2017/02/14/hdinsight-how-to-perform-bulk-load-with-phoenix/ ?
具体来说,您可以提供您使用的命令,以及一些更多的信息,如作业是立即失败还是运行一段时间后开始失败?除了上面描述的日志消息之外,还有其他日志消息吗?