hadoop nfs装载问题

tgabmvqs  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(549)

我正在尝试将nfs共享从windows server 2012装载到我的hadoop群集(运行hadoop 2.7.3),以便它可以对上载到windows服务器的文件运行mapreduce。hadoop集群在raspberrypi2(其中8个)上运行,我已经在hadoopwiki上完成了配置
我已经尝试将nfs挂载到主机上的hdfs dir(/hdfs/tmp/datanode)上,但是在namenodes上无法访问它。
我装错地方了吗?

jaxagkaj

jaxagkaj1#

不管怎样,我已经改变了我的解决方案,将nfs挂载到namenode上,crontab脚本根据需要将文件放到hdfs上


# ! /bin/bash

inotifywait -mr -e create --format '%w%f' /hdfs-nfs/* | while read NEWFILE; do
    echo "${NEWFILE} detected"
    hadoop fs -put "${NEWFILE}" /
done

相关问题