我有一个问题可以通过hadoop以“typedbytes”或“rawbytes”模式进行流处理来解决，它允许用java以外的语言分析二进制数据(否则，流将某些字符（通常是\t和\n）解释为分隔符，并抱怨非utf-8字符。将所有二进制数据转换为base64会减慢工作流程，从而无法实现此目的。）
这些二进制模式是由hadoop-1722添加的。在调用hadoop流作业的命令行上，“-io rawbytes”允许您将数据定义为32位整数大小，后跟该大小的原始数据，“-io typedbytes”允许您将数据定义为1位零（表示原始字节），后跟32位整数大小，后跟该大小的原始数据。我已经用这些格式创建了文件（有一条或多条记录），并通过与typedbytes.py的输出进行检查来验证它们的格式是否正确。我还尝试了所有可能的变体（大端、小端、不同的字节偏移量等）。我使用的是来自cdh4的hadoop0.20，它有实现typedbytes处理的类，当设置“-io”开关时，它将进入这些类。
我用“hadoopfs-copyfromlocal”将二进制文件复制到hdfs。当我尝试使用它作为map reduce作业的输入时，它会失败，并在尝试生成长度为我指定的字节数组（例如3字节）的行中出现outofmemoryerror。它一定是读取错误的数字，并试图分配一个巨大的块，而不是。尽管如此，它还是设法向Map器获取一条记录（上一条记录？不确定），它将它写入标准错误以便我可以看到它。记录的开头总是有太多字节：例如，如果文件是“\x00\x00\x00\x00\x03hey”，Map程序将看到“\x04\x00\x00\x00\x00\x00\x00\x00\x00\x07\x00\x00\x00\x00\x08\x00\x00\x00\x00\x03hey”（可复制的位，但我看不到模式）。
从这篇演讲的第5页，我了解到流式处理有“loadtb”和“dumptb”子命令，它们一步复制到hdfs或从hdfs复制并 Package /展开sequencefile中键入的字节。当与“-inputformat org.apache.hadoop.mapred.sequencefileasbinaryinputformat”一起使用时，hadoop正确地解压了sequencefile，但随后以完全相同的方式误解了其中包含的typedbytes。
此外，我找不到有关此功能的文档。2月7日（我给自己发了一封电子邮件），apache上的streaming.html页面中简要地提到了这个问题，但这个r0.21.0页面后来被删除了，r1.1.1的等效页面没有提到rawbytes或typedbytes。
所以我的问题是：在hadoop流媒体中使用rawbytes或typedbytes的正确方法是什么？有人用过吗？如果是的话，有人能贴出食谱吗？对于任何想在hadoop流媒体中使用二进制数据的人来说，这似乎都是一个问题，这应该是一个相当广泛的群体。
p、 我注意到dumbo、hadoopy和rmr都使用这个特性，但是应该有一种直接使用它的方法，而不需要基于python或基于r的框架。