import java.io.BufferedInputStream;
import java.io.FileInputStream;
import java.io.InputStream;
import java.io.OutputStream;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;
public class HdfsWriter extends Configured implements Tool {
public int run(String[] args) throws Exception {
//String localInputPath = args[0];
Path outputPath = new Path(args[0]); // ARGUMENT FOR OUTPUT_LOCATION
Configuration conf = getConf();
FileSystem fs = FileSystem.get(conf);
OutputStream os = fs.create(outputPath);
InputStream is = new BufferedInputStream(new FileInputStream("/home/acadgild/acadgild.txt")); //Data set is getting copied into input stream through buffer mechanism.
IOUtils.copyBytes(is, os, conf); // Copying the dataset from input stream to output stream
return 0;
}
public static void main(String[] args) throws Exception {
int returnCode = ToolRunner.run(new HdfsWriter(), args);
System.exit(returnCode);
}
}
需要将数据从本地移动到hdfs。
上面的代码我从另一个博客,它不工作。有人能帮我吗。
我还需要使用mr和groupbydatetime解析json,然后转到hdfs
1条答案
按热度按时间mqkwyuun1#
map-reduce是一个分布式作业处理框架
对于每个Map器,local表示运行该Map器的节点上的本地文件系统。
您需要的是从给定节点上的本地读取数据,然后将其放到hdfs上,然后通过mapreduce进行处理。
有多种工具可用于从一个节点的本地复制到hdfs
hdfs put localpath hdfspath(shell脚本)
渡槽