我有一个项目，既涉及客户机和服务器。我用java开发了应用程序的两个部分，我想在hadoop集群中测试它，因为服务器端是云的模拟，所以通过使用hadoop我想让我的应用程序真正感受云环境。我从创建多节点hadoop集群开始，但我不知道下一步该怎么做。如果有什么启发性的话，我将不胜感激。
z2acfund1#
正确的方法是使用restful接口发送命令。例如，在作为jobtracker的计算机上，您可以托管一个tomcatrest服务器(确保hadoop dameons正在后台运行）。您可以使用基于spring/hibernate的servlet来处理对服务器的请求。最后，在servlet中，可以包含hadoopjar并通过hadoopapi调用hadoop，也可以通过控制台（./hadooprunjar blah）调用hadoop。为了将文件上载到服务器，可以使用sftp接口，也可以直接将文件上载到hdfs。如果你愿意，我可以与你分享一些代码，因为我做了一个类似的项目。此外，您还可以查看ApacheOozie。它们为hadoop提供了restful作业流api。
1条答案
按热度按时间z2acfund1#
正确的方法是使用restful接口发送命令。
例如，在作为jobtracker的计算机上，您可以托管一个tomcatrest服务器(确保hadoop dameons正在后台运行）。您可以使用基于spring/hibernate的servlet来处理对服务器的请求。最后，在servlet中，可以包含hadoopjar并通过hadoopapi调用hadoop，也可以通过控制台（./hadooprunjar blah）调用hadoop。
为了将文件上载到服务器，可以使用sftp接口，也可以直接将文件上载到hdfs。
如果你愿意，我可以与你分享一些代码，因为我做了一个类似的项目。
此外，您还可以查看ApacheOozie。它们为hadoop提供了restful作业流api。