免责声明：不建议将pig用于此类任务。如果一个cpu/ram可以进行处理，那么为什么还要麻烦mr呢？

这是可以做到的

我遇到了类似的问题，并使用了自定义storefunc实现。
pig将检查storelocation是否存在，outputformat是否有效，因此您可以扩展一些现有存储：

public class AdHocProcessing extends PigStorage {

    @Override
    public void putNext(Tuple tuple) throws IOException {
        // here you process input tuples...
    }

    @Override
    public void cleanupOnSuccess(String location, Job job) throws IOException {
        // Here you may close your file, db connection, etc.

    }
  }
}

在Pig身上，它看起来像：

input = LOAD 'some.txt'

STORE input INTO './somewhere/' USING AdHocProcessing();

您还可以添加 rmf ./somewhere 之前 STORE （就像这里建议的那样）。

您还可以执行以下操作：

input_table = LOAD ...;
input_table_all = GROUP input_table All;
-- 'input_table_all' now includes just a single entry
output_table = FOREACH input_table_all GENERATE MyUdf(*);

在自定义项中有一个元组，其中包含“all”，然后是输入表，您可以在自定义项中处理该表。