如何在jpmml级联中传递hadoop作业队列名称？

我试图在这个项目提供的jpmml级联库中使用级联框架来执行pmml模型https://github.com/jpmml/jpmml-cascading
我已经完成了所有步骤，并且能够使用mvn clean install命令生成示例-1.2-snapshot-job.jar。
但是，当我使用以下命令执行同一个jar时：

hadoop jar example-1.2-SNAPSHOT-job.jar /tmp/cascading/model.pmml file:///tmp/cascading/input.csv file:///tmp/cascading/output

由于hadoop集群中的默认队列仅出于管理目的而被阻止，普通用户不能在没有提供队列名称的情况下运行hadoop作业，因此我得到以下例外情况：没有提交默认队列上的作业的权限。

Exception:
16/01/06 04:41:37 ERROR ipc.FailoverRPC: FailoverProxy: Failing this Call: submitJob for error(RemoteException): org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException):**User test cannot perform operation SUBMIT_JOB on queue default.**
 Please run "hadoop queue -showacls" command to find the queues you have access to .
    at org.apache.hadoop.mapred.ACLsManager.checkAccess(ACLsManager.java:179)
    at org.apache.hadoop.mapred.ACLsManager.checkAccess(ACLsManager.java:136)
    at org.apache.hadoop.mapred.ACLsManager.checkAccess(ACLsManager.java:113)
    at org.apache.hadoop.mapred.JobTracker.submitJob(JobTracker.java:4524)
    at sun.reflect.GeneratedMethodAccessor17.invoke(Unknown Source)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.apache.hadoop.ipc.WritableRpcEngine$Server$WritableRpcInvoker.call(WritableRpcEngine.java:481)
    at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:928)
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2000)
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1996)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:415)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1566)
    at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1994)

我无法看到在存储库中的何处提供hadoop作业队列。
有人能建议我如何传递hadoop作业队列名称吗？
注：
我试图传递属性mapred.job.queue.name传递队列名称，但job仍然通过命令行和代码本身显示相同的错误。
我也尝试过使用oozie shell action节点运行作业，并在应用程序工作流中传递队列名称，但我相信这只适用于oozie作业，而不适用于通过shell action节点执行的hadoop作业。

您使用了错误的设置。您应该使用hadoop2.x的设置。
以下配置属性（出现在 mapred-site.xml )控制对作业队列的提交。
hadoop 1.x版 mapred.acls.enabled ：是否应启用acl检查，以便在执行队列操作时检查用户的权限。设置为 false 默认情况下。 mapred.job.queue.name ：作业提交到的队列。默认值为 default .
hadoop 2.x版 mapreduce.cluster.acls.enabled ：是否应启用acl检查，以便在执行队列操作时检查用户的权限。设置为 false 默认情况下。 mapreduce.job.queuename ：作业提交到的队列。默认值为 default .
您可以用不同的方式设置这些值：
通过 -D 命令行中的选项，同时运行作业。例如，你可以把它当作 -Dmapreduce.job.queuename=default .
把它放在盒子里 Driver 对于作业（hadoop 2.x）：

Configuration conf = new Configuration();
conf.set("mapreduce.job.queuename", "default");
Job job = Job.getInstance(conf, "JobName");

把它放在盒子里 mapred-site.xml 群集的文件。

如何在jpmml级联中传递hadoop作业队列名称？

1条答案

相关问题

热门标签

最新问答