我完全开始进入hbase数据存储,我们目前正在迁移配置单元外部文件系统与orc文件格式。过去两年的数据需要转移到hbase表中,我很少看到bulkload方法使用hcatalog和pig,但没有使用orc文件格式。你能在这个问题上帮助我或给我一些建议吗。这里我也提到了配置单元表模式结构;
CREATE EXTERNAL TABLE countTbl (
client_id bigint,
count1 bigint,
inserted_at bigint,
count2 bigint,
date_time bigint,
id_dic STRUCT<id1:array<STRING>,id2:array<BIGINT>>,
partition_date string
)
partitioned by (primaryid string)
stored as orc
LOCATION 'hdfs://user/hadoop/countTbl';
1条答案
按热度按时间hfwmuf9z1#
hbase只支持简单的数据类型,即配置单元表字段
id_dic
应简化为存储到hfile您可以使用配置单元表项目到hbase或批量加载到hbase