我是hadoop新手。在我读过的教程中,您将代码打包到一个jar中,然后通过
yarn jar [jar]
我有这个工作,但我想做的是通过编程,动态传递代码到hadoop。换句话说,我有一些正在进行处理的java代码,我想将这些处理的一部分转移到一个正在运行的hadoop集群中,得到答案并将其合并到我正在运行的java代码中。我肯定有办法做到这一点-抱歉没有找到它的文件。我有什么选择?
非常感谢。
编辑澄清:我说的是假设你有一个web应用程序,例如,某人可以去一个网页,输入一些文本,该文本成为一些hadoop工作的参数,比如它可能成为在集群上完成的文本搜索的一部分,结果返回给用户。那么您需要某种方式通过某种客户机接口与hadoop通信,而不是创建jar并将jar提交给hadoop?
1条答案
按热度按时间wnavrhmk1#
http://hadoop.apache.org/docs/current/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapreducetutorial.html#example:uWordCountv1.0演示了如何通过java实现这一点,关键部分是
main
方法: