我需要在mr作业的比较器中比较字节数组,但找不到处理字节数组的好方法,序列化/反序列化的对象具有以下字段:
public class GeneralKey {
String name;
String type;
...other String fields ..
}
@Override
public void readFields(DataInput input) throw IOException {
name = input.readUTF();
type = input.readUTF();
...
}
@Override
public void write(DataOutput output) throws IOException {
output.writeUTF(name);
output.writeUTF(type);
...
}
序列化的字节数组如下所示:name:[0,0]2 byte,这2 byte表示名称的长度,因为它是0,name是空类型:[0,3,96,97,98]5 byte,前2个字节是类型的长度,表示类型的值是3 bytes长,所以需要读取以下3个字节bytes:96,97,98,这是字符串中的“”。
想知道是否有更好的方法来处理字节数组,可以读取前两个字节作为整数,然后可以决定下一个读取多少字节来将它们转换为字符串。我使用Hadoop1.0.3并在aws中运行作业,我尝试了hbase的bytes类,但由于某些原因,它抛出了class not found错误java.lang.classnotfoundexception:org.apache.hadoop.hbase.util.bytes
如果有其他库,我可以用来处理字节数组容易?谢谢
1条答案
按热度按时间7lrncoxx1#
我使用字节数组作为键和值,但使用了以下内置类型:byteswritable