equalsignorecase函数-异常:org.apache.pig.backend.executionengine.executexception
输入:
a.csv
-------
a
A
(blank/empty line)
b
B
c
C
目的:选择a、a、b、b三种类型的记录。
方法1:
A = LOAD 'a.csv' using PigStorage(',') AS (value:chararray);
B = FILTER A BY LOWER(value) IN ('a','b');
DUMP B;
Output :
(a)
(A)
(b)
(B)
方法2:
C = FILTER A BY EqualsIgnoreCase(value, 'a') or EqualsIgnoreCase(value, 'b');
Output :
2015-04-27 23:48:21,958 [Thread-30] WARN org.apache.hadoop.mapred.LocalJobRunner - job_local_0014
org.apache.pig.backend.executionengine.ExecException
at org.apache.pig.builtin.EqualsIgnoreCase.exec(EqualsIgnoreCase.java:50)
试图理解为什么会抛出此异常。我知道这是因为空白的记录。
尝试检查值是否不为null或空,仍然是相同的错误。
D = FILTER A BY (value IS NOT NULL) OR (TRIM(value) != '') AND (EqualsIgnoreCase(value, 'a') or EqualsIgnoreCase(value, 'b'));
如果您对使用方法2实现我们的目标有任何意见/想法,我们将不胜感激。
1条答案
按热度按时间rseugnpd1#
是的,你是对的,字符串函数
EqualsIgnoreCase
以及TRIM
无法处理输入中的空白字符串。要解决这个问题,您在上一次stmt中所做的一切都是正确的,只需删除
Trim
它会起作用的。是
not null condition
将处理空字符(null、空格和制表符),所以TRIM
不需要函数。