如何设置pig store命令的输出目录？

mctunoxg 于 2021-06-02 发布在 Hadoop

关注(0)|答案(2)|浏览(429)

我正在通过azure hdinsight使用pig。我可以提交一个以商店结尾的查询，如下所示：

STORE Ordered INTO 'results' USING PigStorage(',');

这样就可以将输出存储在目录中 /user/hdp/results/ . 但是我想控制输出目录。我两个都试过了。。。

STORE Ordered INTO '/myOutDir/results' USING PigStorage(',');

和

STORE Ordered INTO 'wasb:///myOutDir/results' USING PigStorage(',');

这两个都不管用。它们都会产生以下错误：

Ordered was unexpected at this time.

我的问题是，我可以控制store命令的输出目录吗？或者它必须进入用户目录？

2条答案

使用如下输出路径

wasb[s]://<BlobStorageContainerName>@<StorageAccountName>.blob.core.windows.net/<path>

如果您的输出路径 /example/data/sample.log 然后使用

wasb://mycontainer@mystorageaccount.blob.core.windows.net/example/data/sample.log
wasb:///example/data/sample.log

我希望这能对你有所帮助。：-）

如果要使用参数设置输出，可以执行以下操作：

STORE Ordered INTO '$myOutDir/results' USING...

然后运行脚本：

pig -param myOutDir=/blablabla/... myScript.pig

注意：您还可以为参数设置默认值，在脚本顶部添加：

%default myOutDir '/blablabla/...'

希望对你有所帮助，祝你好运：）