我正在尝试使用multipleoutputformat.generatefilenameforkeyvalue()。
这个想法是为我的每个密钥创建目录。
代码如下:
static class MyMultipleTextOutputFormat extends MultipleTextOutputFormat<Text, Text> {
@Override
protected String generateFileNameForKeyValue(Text key, Text value, String name) {
arr = key.toString().split("_");
return arr[0]+"/"+name;
}
}
只有当发出的记录很少时,此代码才起作用。如果我根据实际输入运行代码,它只会挂起70%左右。
这里可能有什么问题-处理少量的键,而不是处理许多键。
暂无答案!
目前还没有任何答案,快来回答吧!