我还没有在hadoop上做过任何开发，但我正在考虑把它作为一个我正在从事的神经网络爱好项目。我知道hadoop允许在许多机器上存储、管理和处理数据。我想执行代码，将在每台机器上创建神经网络，训练，然后返回最好的网络服务器。我想知道的是，我是否可以使用hadoop在所有机器上执行csharp或c++代码？如果是这样的话，怎么能做到呢？如果你能给我任何帮助和建议，我将不胜感激。
46qrfjad1#
当然。看看“hadoop mapreduce流”。这允许您的任何可执行文件用作Map器或缩减器。工作原理如下：您提供了一个控制台应用程序（c++、c#或您拥有的任何东西），该应用程序接受来自stdin的输入，对其进行处理，并将其结果写入stdout。将此可执行文件和输入数据作为参数传递给hadoop-streaming.jar。hadoop将可执行文件部署到节点，向每个节点传递大量的输入数据，并让它们编写输出。如果你想，你可以提供自己的减速机同样的方式。有关详细信息，请参见本教程：https://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-develop-deploy-streaming-jobs/或apache官方文档：https://hadoop.apache.org/docs/r2.7.2/hadoop-streaming/hadoopstreaming.html顺便说一下，不要使用微软的mapreduce.sdk。起初这似乎很有希望，但似乎是一个死项目。在您的例子中，您可能希望实现作为Map器的ann的训练和测试，将评估结果作为输出。您可以手动下载并检查所有这些结果，也可以提供一个reducer，它选择最佳的网络并只将该网络写入最终结果数据。
1条答案
按热度按时间46qrfjad1#
当然。看看“hadoop mapreduce流”。
这允许您的任何可执行文件用作Map器或缩减器。
工作原理如下：
您提供了一个控制台应用程序（c++、c#或您拥有的任何东西），该应用程序接受来自stdin的输入，对其进行处理，并将其结果写入stdout。
将此可执行文件和输入数据作为参数传递给hadoop-streaming.jar。
hadoop将可执行文件部署到节点，向每个节点传递大量的输入数据，并让它们编写输出。
如果你想，你可以提供自己的减速机同样的方式。
有关详细信息，请参见本教程：https://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-develop-deploy-streaming-jobs/
或apache官方文档：https://hadoop.apache.org/docs/r2.7.2/hadoop-streaming/hadoopstreaming.html
顺便说一下，不要使用微软的mapreduce.sdk。起初这似乎很有希望，但似乎是一个死项目。
在您的例子中，您可能希望实现作为Map器的ann的训练和测试，将评估结果作为输出。您可以手动下载并检查所有这些结果，也可以提供一个reducer，它选择最佳的网络并只将该网络写入最终结果数据。