我正在opencl中开发一个应用程序，其基本目标是在gpu平台上实现一个数据挖掘算法。我想使用hadoop分布式文件系统，并希望在多个节点上执行应用程序。我使用的是mapreduce框架，我将我的基本算法分为两部分，即“map”和“reduce”。
我以前从未使用过hadoop，因此我有一些问题：
我是否只需要用java编写应用程序来使用hadoop和mapeduce框架？
我已经在opencl中为map和reduce编写了内核函数。对于非javagpu计算应用程序，是否可以使用hdfs文件系统(注意：我不想使用javacl或aparapi）
2条答案
按热度按时间ru9i0ody1#
您可以使用hadoop流，有了它，您可以用任何语言编写Map器和还原器，只要您的代码可以从stdio读取并写回它。你可以举一些例子来说明r是如何与hadoop流媒体结合使用的
mrwjdhj32#
hdfs是一个文件系统；您可以将hdfs文件系统与任何语言结合使用。
hdfs数据分布在多台计算机上，在gpu计算中处理这些数据具有很高的可用性。
有关更多信息，请参考hadoop流。