我已经使用pig将数据加载到hadoop中,但是当我转储csv表时,看起来我的数据被除以一百万。原始csv:
state population
California 39144818
Texas 27469114
Florida 20271272
要加载的清管器代码:
statePopFile =LOAD 'hdfs:/home/ubuntu/final/gunData/statePops.csv' using PigStorage(',');
stateRec = FOREACH statePopFile GENERATE $0 AS state ,$1 as population;
dump stateRec;
控制台的输出如下所示
(California,"39)
(Texas,"27)
(Florida,"20)
1条答案
按热度按时间kwvwclae1#
我的问题是加载数据并在','上分离。那是数字的削减。这是通过在\t上分隔来解决的