我对hadoop和mapreduce是完全陌生的，我正在努力解决它。我正在尝试用python开发一个mapreduce应用程序，其中使用2.csv文件中的数据。我只是在mapper中读取这两个文件，然后将这些文件中的键值对打印到sys.stdout
当我在一台机器上使用这个程序时，它运行得很好，但是在hadoop流媒体中，我得到了一个错误。我想我在hadoop上读取mapper中的文件时犯了一些错误。请帮助我的代码，并告诉我如何使用hadoop流文件处理。mapper.py代码如下(您可以从注解中理解代码）：

# !/usr/bin/env python

import sys
from numpy import genfromtxt

def read_input(inVal):
    for line in inVal:
        # split the line into words
        yield line.strip()

def main(separator='\t'):
    # input comes from STDIN (standard input)
    labels=[]
    data=[]    
    incoming = read_input(sys.stdin)
    for vals in incoming:
        # write the results to STDOUT (standard output);
        # what we output here will be the input for the
        # Reduce step, i.e. the input for reducer.py
        #
        # tab-delimited;
        if len(vals) > 10:
            data.append(vals)
        else:
            labels.append(vals)

    for i in range(0,len(labels)):
        print "%s%s%s\n" % (labels[i], separator, data[i])

if __name__ == "__main__":
    main()

有60000条记录从两个.csv文件输入到此Map器，如下所示（在单机上，而不是hadoop群集上）：

cat mnist_train_labels.csv mnist_train_data.csv | ./mapper.py