如何在tez上为pig设置队列名称?

flvlnr44  于 2021-05-29  发布在  Hadoop
关注(0)|答案(2)|浏览(497)

在tez上运行pig时,如何从命令行设置队列名称?
我想从命令行运行pig脚本,例如:

pig -useHCatalog -p INPUT=input_dir \
                                 -p 'OUT_FILE=out_file \
                                 -p UDF_PATH=udf.py \
                                 -f ./script_name.pig \
                                 -Dmapred.job.queue.name=my_queue_name \
                                 -x tez;

我尝试了以下设置:

-tez.job.queue.name=my_queue_name
-q mapreduce.job.queuename=my_queue_name
-Dmapred.job.queue.name=my_queue_name
-q my_queue_name

但是,我的作业没有在指定的队列中运行。
谢谢您!

um6iljoc

um6iljoc1#

物业是 tez.queue.name .

<property>
    <name>tez.queue.name</name>
    <value>myqueue</value>
</property>

所以试试看

-tez.queue.name=my_queue_name
jgzswidk

jgzswidk2#

在我的pig版本(0.16.0.2.5.3.0-37)中,我无法在命令行中设置此参数。
而不是添加
设置tez.queue.name'my_queue';
一开始Pig的剧本确实管用。

相关问题