我需要以下用例的帮助：
最初我们加载一些文件并处理这些记录（或者更严格地说是元组）。经过这个处理，最后我们得到了如下形式的元组：
(some_field_1, hdfs://localhost:9000/user/kailashgupta/data/1/part-r-00000, some_field_3)
(some_field_1, hdfs://localhost:9000/user/kailashgupta/data/2/part-r-00000, some_field_3)
(some_field_1, hdfs://localhost:9000/user/kailashgupta/data/1/part-r-00001, some_field_3)所以基本上，元组有文件路径作为其字段的值（我们可以很明显地将只有一个字段有文件路径作为值的元组转换为只有一个字段有分隔符（比如逗号）分隔字符串的元组）。
所以现在我必须用pig脚本加载这些文件，但是我不能这样做。你能建议下一步怎么做吗。我想用高级的 foreach 操作员并尝试如下：
data = foreach tuples_with_file_info {
fileData = load $2 using PigStorage(',');
....
....
};但是它不起作用。
编辑：为简单起见，假设我有一个元组，其中一个字段有文件名：
(hdfs://localhost:9000/user/kailashgupta/data/1/part-r-00000)
2条答案
按热度按时间os8fio9y1#
你不能用“开箱即用”来做这件事。
我要做的是使用其他一些脚本语言（bash、python、ruby…）从hdfs读取文件，并将这些文件连接成一个字符串，然后将其作为参数推送到pig脚本中，以便在load语句中使用。pig支持globbing，因此您可以执行以下操作：
所以剩下要做的就是读取包含这些文件名的文件，将它们连接成一个glob，例如：
并将其作为参数传递给pig，这样您的脚本将从以下内容开始：
你的Pig叫声是这样的：
qfe3c7zg2#
首先，存储
tuples_with_file_info到某个文件中：那么，
哪里
MyCustomLoader只不过是一个Pig装载机伸出LoadFunc，使用MyInputFormat作为InputFormat.MyInputFormat是对实际输入格式的封装（例如。TextInputFormat)它必须用于从文件中读取实际数据（例如，在我的情况下，从文件hdfs://localhost：9000/user/kailashgupta/data/1/part-r-00000）。在
MyInputFormat，覆盖getSplits方法；首先从some_temporary_file（您必须从Configuration的mapred.input.dir属性），然后更新相同的Configuration
mapred.input.dir使用检索到的文件名，然后从 Package 的inputformat返回结果（例如，在我的例子中TextInputFormat).注：1。您不能使用
setLocationapi来自LoadFunc（或其他类似的api）读取some_temporary_file，因为其内容仅在运行时可用。2你心里可能会产生一个疑问，如果LOAD语句在STORE? 但这不会发生因为如果STORE以及LOAD在脚本中使用相同的文件，Pig确保作业按正确的顺序执行。有关更多详细信息，请参阅pig wiki上的store load sequences一节