很多语言都有map-reduce功能，包括clojure。
我想说hadoop将是不折不扣的赢家，因为它通过机器集群来管理它。这是大规模并行化的潜力，这将使它有明显的优势，任何其他没有它内置。

我不会去运行和建立一个hadoop集群仅仅为了能够处理很多小文件（这对hadoop来说并不理想）。hadoop面向处理大文件（其块大小为64m），map reduce的效率来自于让这些大文件分布在集群上并将计算发送到数据。
在您的情况下，运行多个软件副本（每个副本一次处理一个文件）似乎可以解决问题，并且开销最小—包括计算和操作开销（即设置和维护hadoop）。
hadoop能给你的一件事是处理任务的管理，也就是在失败等情况下退出，但是对于你所描述的来说，这似乎又是一种过度的杀伤力

我会说使用hadoop，但不是直接使用，而是通过clojure的cascalog。这里的价值主张是hadoop提供给您的一切，再加上强大的声明性查询语言（这可能会使使用cascalog变得有价值，即使任务相对较小；在本地模式下使用hadoop进行安装完全没有麻烦）。
最初的介绍性博客文章仍然是最好的起点（尽管现在有很好的文档可用——请参阅github上的wiki）：第一篇文章在这里，最后链接到第二篇文章。
为了让你领略一下它的样子，这里有一个来自第一个教程的片段（找到所有跟随者比跟随者年龄大的“跟随”关系）：

(?<- (stdout) [?person1 ?person2] 
  (age ?person1 ?age1)
  (follows ?person1 ?person2)
  (age ?person2 ?age2)
  (< ?age2 ?age1))

在集群上运行这个也没问题，请参阅nathanmarz博客上使用cascalog的38行代码中的新闻提要作为示例。