如何用jar而不是终端提交maprecure作业((以编程方式)

j1dl9f46  于 2021-05-30  发布在  Hadoop
关注(0)|答案(2)|浏览(347)

我对hortonworks(使用yarn、hadoop2.6)还很陌生,我正试图研究如何提交mapreduce,但我不想使用终端命令,我想用编程的方式来完成。我想编写外部java程序来运行mrjar。
我看了这里:集群应用程序api(提交应用程序)
我发现需要获取新的应用程序id:
群集\新\应用程序\ api
但当我使用他们所描述的:“\u http://[my host ip]:[port=8088]/ws/v1/cluster/apps/new application”时,我得到了异常:

<RemoteException>
<exception>WebApplicationException</exception>
<javaClassName>javax.ws.rs.WebApplicationException</javaClassName>
</RemoteException>

我错过什么了吗?有人有提交和监控乔布斯的rest示例代码吗?
谢谢!

tgabmvqs

tgabmvqs1#

并不能完全回答您的问题—但是您可以尝试从bash脚本运行作业,并使用bash实现任何想要启动作业的自动逻辑。如果使用java是至关重要的,那么可以根据需要从外部调用从java创建的脚本(运行作业)。

ar7v8xwq

ar7v8xwq2#

我也面临同样的问题。发现是http请求问题。确保使用post-and-header具有accept:application/xml
稍后,您可能还需要content-type:application/xml或content-type:application/json

相关问题