为什么我在apache pig中使用replace函数时出错?

vpfxa7rd  于 2021-06-21  发布在  Pig
关注(0)|答案(2)|浏览(441)

我在执行命令

TestData = FOREACH records Generate From as from, MsgId as Msg, REPLACE(toAddress,';' , ',');

我有以下错误
不匹配的字符“”应为“”2014-04-14 12:27:56863[main]error org.apache.pig.tools.grunt.grunt-错误1200:不匹配的字符“”应为“”
可能是因为;性格?如果是这样,那么如何为其应用修补程序。。

njthzxwz

njthzxwz1#

在我看来那只Pig 0.11.0-cdh4.3.0 不包括pig-2507。
您需要修补并重建pig以使其正常工作(从此处下载修补程序:https://issues.apache.org/jira/secure/attachment/12571848/pig_2507.patch)或者作为一种解决方法,您可以基于 org.apache.pig.builtin.REPLACE :
例如:

package com.example;

import java.io.IOException;
import java.util.ArrayList;
import java.util.List;

import org.apache.pig.EvalFunc;
import org.apache.pig.FuncSpec;
import org.apache.pig.PigWarning;
import org.apache.pig.data.Tuple;
import org.apache.pig.data.DataType;
import org.apache.pig.impl.logicalLayer.schema.Schema;
import org.apache.pig.impl.logicalLayer.FrontendException;

public class MyReplace extends EvalFunc<String> {

    private String searchString;
    public MyReplace(String searchString) {
        this.searchString = searchString;
    }

    @Override
    public String exec(Tuple input) throws IOException {
        if (input == null || input.size() < 2)
            return null;

        try {
            String source = (String) input.get(0);
            String replacewith = (String) input.get(1);
            return source.replaceAll(searchString, replacewith);
        }
        catch (Exception e) {
            warn("Failed to process input; error - " + e.getMessage(), PigWarning.UDF_WARNING_1);
            return null;
        }
    }

    @Override
    public Schema outputSchema(Schema input) {
        return new Schema(new Schema.FieldSchema(null, DataType.CHARARRAY));
    }

    /* (non-Javadoc)
     * @see org.apache.pig.EvalFunc#getArgToFuncMapping()
     */
    @Override
    public List<FuncSpec> getArgToFuncMapping() throws FrontendException {
        List<FuncSpec> funcList = new ArrayList<FuncSpec>();
        Schema s = new Schema();
        s.add(new Schema.FieldSchema(null, DataType.CHARARRAY));
        s.add(new Schema.FieldSchema(null, DataType.CHARARRAY));
        funcList.add(new FuncSpec(this.getClass().getName(), s));
        return funcList;
    }
}

把它装在jar里,然后你就可以使用它了:

register '/path/to/my.jar';
DEFINE myReplace com.example.MyReplace(';');
A = load 'data' as (a:chararray);
B = FOREACH A generate myReplace(a,',');
...
gxwragnw

gxwragnw2#

它也可以通过使用pig内置函数来实现。使用unicode转义序列代替replace函数调用中的特殊字符。对于上述问题,请使用:

REPLACE (toAddress,'\\\\u003b','\u002c')

代替:

REPLACE(toAddress,';' , ',')

相关问题