phoenix csv批量加载失败,数据集太大

gt0wga4j  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(349)

我试图在hdinsight hbase集群上使用phoenix csv批量加载工具加载数据集(280gb)。作业失败,出现以下错误:
18/02/23 06:09:10 info mapreduce.job:任务id:尝试\u 1519326441231 \u 0004 \u m \u 000067 \u 0,状态:failederror:java堆spacecontainer被applicationmaster终止。container应请求终止。退出代码为143,容器退出时的退出代码为非零143
以下是我的群集配置:

Region Nodes
8 cores, 56 GB RAM, 1.5TB HDD
Master Nodes
4 cores, 28GB, 1.5TB HDD

我尝试将yarn.nodemanager.resource.memory-mb的值从5gb增加到38gb,但作业仍然失败。
有人能帮我解决这个问题吗?

h22fl7wq

h22fl7wq1#

你能提供更多细节吗?比如你是怎么开始工作的?你是按照这里的指示来的吗-https://blogs.msdn.microsoft.com/azuredatalake/2017/02/14/hdinsight-how-to-perform-bulk-load-with-phoenix/ ?
具体来说,您可以提供您使用的命令,以及一些更多的信息,如作业是立即失败还是运行一段时间后开始失败?除了上面描述的日志消息之外,还有其他日志消息吗?

相关问题