在pig中是否可以通过定义列字段值来创建列字段

iyr7buue  于 2021-05-30  发布在  Hadoop
关注(0)|答案(2)|浏览(370)

假设我有下面的结构化数据文件
1298712012061228765236542123049824234209374 1203972012073042198531203948203498023498023 1203712012092329385612350924395798456892345 1234812012101223423498230482034893204820398
在上面的文件中,前6位是(1-6)中的用户id,后8位是(7-12)中的年份\日期,后6列是(13-18)中的计数字段,同样地,对于上面的平面文件,我有(19-30)中的产品\ id和(31-42)中的字符\值列,所以我想要下面的格式的数据。我的意思是,我想用这个字段加载我的数据。在Pig或 hive 里有没有其他的选择?

xyhw6mcr

xyhw6mcr1#

你会用子串吗?

A = LOAD 'DATA' USING PigStorage() AS (line); 
B = FOREACH A GENERATE SUBSTRING(line,1,6) AS UserID, SUBSTRING(line,7,12) AS Year_date ...
bd1hkmkf

bd1hkmkf2#

你可以用它在Pig和 hive 。以下是两种解决方案
清管器:

data = LOAD '/data.txt' USING PigStorage() AS (line);
strsplit = FOREACH data GENERATE 
SUBSTRING(line,1,6) AS UserID,
SUBSTRING(line,7,12) AS year_date,
SUBSTRING(line,13,18) AS Count,
SUBSTRING(line,19,30) AS product_id,
SUBSTRING(line,31,42) AS Character_values;

倾倒时:
卸料板(29871,29871,29871,29871,29871)
(20397,20397,20397,20397,20397)
(20371,20371,20371,20371,20371)
(23481,23481,23481,23481,23481)
Hive:
第一步:创建临时表,加载原始数据;

create table temp(line String)
ROW FORMAT DELIMITED
LINES TERMINATED BY '\n';
LOAD DATA INPATH '/data.txt' INTO TABLE temp;

第二步:创建一个适合你的数据的表格。

create table user(UserID String,year_date String,Count String,product_id String,Character_values String)
    ROW FORMAT DELIMITED
    FIELDS TERMINATED BY ','
    LINES TERMINATED BY '\n';

第三步:把你的临时表插入actula表

INSERT INTO TABLE user
SELECT substr(line,0,6),substr(line,7,12),substr(line,13,18),substr(line,19,30),substr(line,31,42)FROM temp;

相关问题