有没有一种简单的方法可以使用终端模拟mapreduce作业？我想知道在编写代码时是否有一种简单的方法来调试代码。
pprl5pva1#
我已经习惯了用python进行hadoop流处理，但是我相信这个解决方案也可以复制到其他语言中。所以，我的解决方案是： cat input_folder/* | python map.py | sort | python reduce.py 您只需运行以下命令，就可以看到reducer作为输入接收的值： cat input_folder/* | python map.py | sort
cat input_folder/* | python map.py | sort | python reduce.py
cat input_folder/* | python map.py | sort
1条答案
按热度按时间pprl5pva1#
我已经习惯了用python进行hadoop流处理，但是我相信这个解决方案也可以复制到其他语言中。所以，我的解决方案是：
cat input_folder/* | python map.py | sort | python reduce.py您只需运行以下命令，就可以看到reducer作为输入接收的值：cat input_folder/* | python map.py | sort