如何在pig中获得行的平均值

5vf7fwbs  于 2021-06-24  发布在  Pig
关注(0)|答案(1)|浏览(313)

通过以下处理

REGISTER 's3://jmh-dtg-2016/jeon_dtg/test.py' USING jython as test;
raw01  = LOAD 's3://jmh-dtg-2016/jeon_dtg/test_pig.csv' USING org.apache.pig.piggybank.storage.CSVExcelStorage(',', 'NO_MULTILINE', 'UNIX', 'SKIP_INPUT_HEADER');
raw02 = FOREACH raw01 GENERATE (chararray)$2 as date, (chararray)$3 as code, (chararray)$4 as car_num, (chararray)$5 as pre_time, (FLOAT)$8 as vel, (chararray)$18 as link_id;
raw03 = GROUP raw02 BY (link_id, car_num);
raw04 = FOREACH raw03 GENERATE group, test.my_fun(raw02.vel) AS val;
dump raw04;

得到这些结果了吗
在此处输入图像描述
我想得到每行的平均值。总之,我想要这样的结果:

{(39.0),(45.0)}) -> 42 
{(1.0)}) -> 1

这是我使用的python函数。

@outputSchema('num01:float')
def my_fun(data01):
    a = data01
    b = sorted(a)
    c = int((len(b)/100.0) * 10.0)
    d = int((len(b)/100.0) * 90.0)
    e = b[c:d]
    return e

这是不可能的

@outputSchema('num01:float')
    def my_fun(data01):
        a = data01
        b = sorted(a)
        c = int((len(b)/100.0) * 10.0)
        d = int((len(b)/100.0) * 90.0)
        e = b[c:d]
        return sum(e)

请帮帮我。。

xpcnnkqh

xpcnnkqh1#

听起来你只需要从一袋值中得到平均值?如果我错了就纠正我。pig操作符avg应该做到这一点,并且比python udf性能更好。

raw04 = FOREACH raw03 GENERATE group, AVG(raw02.vel) AS val;

相关问题