hbase completebulkload卡在aws emr上

x759pob2  于 2021-06-01  发布在  Hadoop
关注(0)|答案(0)|浏览(283)

因此,我尝试使用hbase批量加载将一些数据加载到hbase中。下面是我的堆栈设置:hbase版本1.3.1 hadoop版本:2.7.3 emr版本5.10。集群大小:20个r4.2x大型示例。我有一个hbase表,它被预先拆分为400个区域,行键为hexstringsplit。该表只包含一个列族,使用lz4压缩算法
然后我尝试使用bulkload将一些数据加载到表中。我能够使用importtsv工具在hdfs上生成hfiles,总文件大小大约为20gb。
然后我运行了“completebulkload”工具,如下所示:hadoop jar/usr/lib/hbase/lib/hbase-server-1.3.1.jar completebulkload hdfs:///user/hbase/output mytable
这里的“hdfs:///user/hbase/output”是导入tsv作业的输出目录。
进程开始了,但被卡住了,我只看到以下输出:

17/12/05 19:49:22 WARN mapreduce.LoadIncrementalHFiles: Skipping non-directory hdfs://ip-172-31-19-197.ec2.internal:8020/user/hbase/output/_SUCCESS
17/12/05 19:49:23 INFO compress.CodecPool: Got brand-new decompressor [.lz4]
17/12/05 19:49:23 INFO compress.CodecPool: Got brand-new decompressor [.lz4]
17/12/05 19:49:23 INFO compress.CodecPool: Got brand-new decompressor [.lz4]
17/12/05 19:49:23 INFO compress.CodecPool: Got brand-new decompressor [.lz4]

没有打印进一步的信息。已经快一个小时了,但还是什么都没有。我检查了hbase用户界面,还没有加载任何内容。所有区域均为空。
有什么想法吗?
谢谢

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题