我终于用hadoopy完成了。
这是我简单的节俭目标。

struct Test {
    1: required string foo;
    2: required string bar;
}

我使用命令行工具生成python定义，并压缩目录。然后我生成了一些数据，并使用loadtb将其推送到hdfs中。
下面是反序列化数据并将其作为字符串写出的代码。

import hadoopy
from thrift.protocol import TBinaryProtocol
from thrift.TSerialization import deserialize
import sys

class Mapper(object):
    def __init__(self):
        sys.path.append('lib/test.zip/gen-py')
        from Test.ttypes import Test
        self.protocol_factory = TBinaryProtocol.TBinaryProtocolFactory
        self.test = Test()
    def map(self, key, value):
        deserialize(self.test, key, protocol_factory=self.protocol_factory())
        yield 1, self.test.foo + " "  + self.test.bar

if __name__ == '__main__':
    hadoopy.run(Mapper)

这是驱动程序脚本。

import hadoopy

    hadoopy.launch('/data/fuscala', '/data/fuscala-output', 'fuscala1.py', remove_output = True, files = ["test.zip"])
    data = hadoopy.readtb('/data/fuscala-output')
    for i, j in data:
        print i,j