equalsignorecase函数-exception:org.apache.pig.backend.executionengine.execute

xurqigkl  于 2021-06-25  发布在  Pig
关注(0)|答案(1)|浏览(367)

equalsignorecase函数-异常:org.apache.pig.backend.executionengine.executexception
输入:

a.csv
 -------
  a
  A
 (blank/empty line)
  b
  B
  c
  C

目的:选择a、a、b、b三种类型的记录。
方法1:

A = LOAD 'a.csv' using PigStorage(',') AS (value:chararray);
    B = FILTER A BY LOWER(value) IN ('a','b');
    DUMP B;

    Output :
     (a)
     (A)
     (b)
     (B)

方法2:

C = FILTER A BY EqualsIgnoreCase(value, 'a') or  EqualsIgnoreCase(value, 'b');

    Output :
     2015-04-27 23:48:21,958 [Thread-30] WARN   org.apache.hadoop.mapred.LocalJobRunner - job_local_0014
        org.apache.pig.backend.executionengine.ExecException
        at org.apache.pig.builtin.EqualsIgnoreCase.exec(EqualsIgnoreCase.java:50)

试图理解为什么会抛出此异常。我知道这是因为空白的记录。
尝试检查值是否不为null或空,仍然是相同的错误。

D = FILTER A BY (value IS NOT NULL) OR (TRIM(value) != '') AND (EqualsIgnoreCase(value, 'a') or  EqualsIgnoreCase(value, 'b'));

如果您对使用方法2实现我们的目标有任何意见/想法,我们将不胜感激。

rseugnpd

rseugnpd1#

是的,你是对的,字符串函数 EqualsIgnoreCase 以及 TRIM 无法处理输入中的空白字符串。
要解决这个问题,您在上一次stmt中所做的一切都是正确的,只需删除 Trim 它会起作用的。

C = FILTER A BY (value is not null) and (EqualsIgnoreCase(value, 'a') or  EqualsIgnoreCase(value, 'b'));

not null condition 将处理空字符(null、空格和制表符),所以 TRIM 不需要函数。

相关问题