如何加载hive orc分区到hbase表

7cjasjjr  于 2021-05-27  发布在  Hadoop
关注(0)|答案(1)|浏览(541)

我完全开始进入hbase数据存储,我们目前正在迁移配置单元外部文件系统与orc文件格式。过去两年的数据需要转移到hbase表中,我很少看到bulkload方法使用hcatalog和pig,但没有使用orc文件格式。你能在这个问题上帮助我或给我一些建议吗。这里我也提到了配置单元表模式结构;

CREATE EXTERNAL TABLE countTbl (
 client_id bigint,
 count1 bigint,
 inserted_at bigint,
count2 bigint,
 date_time bigint,
id_dic STRUCT<id1:array<STRING>,id2:array<BIGINT>>,
 partition_date string
)
partitioned by (primaryid string)
stored as orc
LOCATION 'hdfs://user/hadoop/countTbl';
hfwmuf9z

hfwmuf9z1#

hbase只支持简单的数据类型,即配置单元表字段 id_dic 应简化为存储到hfile您可以使用配置单元表项目到hbase或批量加载到hbase

相关问题