hadoop—使用java将文件写入hdfs

pqwbnv8z  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(910)

我正在尝试将一个文件写入hdfs,创建了这个文件,但是在集群上它是空的,但是当我在本地运行代码时,它就像一个符咒。
这是我的密码:

FSDataOutputStream recOutputWriter = null;
FileSystem fs = null;
try {
    //OutputWriter = new FileWriter(outputFileName,true);
    Configuration configuration = new Configuration();
    fs = FileSystem.get(configuration);
    Path testOutFile = new Path(outputFileName);
    recOutputWriter = fs.create(testOutFile);

    //outputWriter = new FileWriter(outputFileName,true);
} catch (IOException e) {
    e.printStackTrace();
}
recOutputWriter.writeBytes("======================================\n");
recOutputWriter.writeBytes("OK\n");
recOutputWriter.writeBytes("======================================\n");

if (recOutputWriter != null) {
    recOutputWriter.close();
}
fs.close();

我错过什么了吗?

zzoitvuj

zzoitvuj1#

为了在集群上创建文件后将数据写入文件,我必须添加:

System.setProperty("HADOOP_USER_NAME", "vagrant");

引用-使用scala将文件写入hadoop hdfs

相关问题