加载由双冒号分隔的文件：：in pig

mzsu5hc0 于 2021-06-21 发布在 Pig

关注(0)|答案(1)|浏览(256)

下面是由双冒号（：：）分隔的示例数据集。

1::Toy Story (1995)::Animation|Children's|Comedy

我想从上面的数据集中提取三个字段，分别是movieid、title和genre。我已经为此编写了以下代码

movies = LOAD 'location/of/dataset/on/hdfs ' 
using PigStorage('::')
as 
(MovieID:int,title:chararray,genre:chararray);

但我有以下错误

ERROR org.apache.pig.tools.grunt.Grunt - ERROR 1200: Pig script failed to  parse:  
 <file script.pig, line 1, column 9> pig script failed to validate:
 java.lang.RuntimeException: could not instantiate 'PigStorage' with arguments '[::]'

apache-pig

来源：https://stackoverflow.com/questions/38800108/load-file-delimited-by-double-colon-in-pig

1条答案

按热度按时间

44u64gxh1#

使用myregexloader：您需要piggybank.jar。

REGISTER '/path/to/piggybank.jar'
A = LOAD '/path/to/dataset' USING org.apache.pig.piggybank.storage.MyRegExLoader('([^\\:]+)::([^\\:]+)::([^\\:]+)') 
      as (movieid:int, title:chararray, genre:chararray);

输出：
（1、《玩具总动员》（1995）、《动画》《儿童喜剧》）

赞(0）回复(0）举报 2021-06-21

我来回答

加载由双冒号分隔的文件：：in pig

1条答案

相关问题

热门标签

最新问答