将json文件从本地复制到hdfs

bbmckpt7  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(637)
import java.io.BufferedInputStream;
import java.io.FileInputStream;
import java.io.InputStream;
import java.io.OutputStream;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

public class HdfsWriter extends Configured implements Tool {
 public int run(String[] args) throws Exception {
  //String localInputPath = args[0];
  Path outputPath = new Path(args[0]); // ARGUMENT FOR OUTPUT_LOCATION
  Configuration conf = getConf();
  FileSystem fs = FileSystem.get(conf);
  OutputStream os = fs.create(outputPath);
  InputStream is = new BufferedInputStream(new FileInputStream("/home/acadgild/acadgild.txt")); //Data set is getting copied into input stream through buffer mechanism.
  IOUtils.copyBytes(is, os, conf); // Copying the dataset from input stream to output stream
  return 0;
 }

 public static void main(String[] args) throws Exception {
  int returnCode = ToolRunner.run(new HdfsWriter(), args);
  System.exit(returnCode);
 }
}

需要将数据从本地移动到hdfs。
上面的代码我从另一个博客,它不工作。有人能帮我吗。
我还需要使用mr和groupbydatetime解析json,然后转到hdfs

mqkwyuun

mqkwyuun1#

map-reduce是一个分布式作业处理框架
对于每个Map器,local表示运行该Map器的节点上的本地文件系统。
您需要的是从给定节点上的本地读取数据,然后将其放到hdfs上,然后通过mapreduce进行处理。
有多种工具可用于从一个节点的本地复制到hdfs
hdfs put localpath hdfspath(shell脚本)
渡槽

相关问题