我使用nfs网关服务将一些数据摄取到hdfs(cdh5.4.5)中。
一切似乎都很好,直到我收到一条消息警告我,日志目录的可用空间运行非常少。我快速查找了大日志文件:
sudo find /var/log -type f -size +100000k -exec ls -lh {} \; | awk '{ print $9 ": " $5 }'
... 注意到一个34gb的文件 /var/log/hadoop-hdfs/hadoop-cmf-hdfs-NAMENODE-[fqdn-of-name-node].log.out
. 快速窥视一下里面,几乎全部都是这样的警告:
2015-11-30 13:41:15,535 WARN org.apache.hadoop.security.UserGroupInformation: No groups available for user [some_user]
看到这一点,我加上 some_user
用户到 hdfs
组,即。 usermod -a -G hdfs some_user
在运行nfs网关的节点上,然后重新启动nfs网关服务。不幸的是,“没有用户可用的组…”消息仍然以惊人的速度被记录。
你能看出我做错了什么吗?是吗 some_user
帐户需要在每个节点上设置,而不仅仅是nfs网关?为了使更改生效,我需要做的不仅仅是重新启动服务吗?
1条答案
按热度按时间q35jwt9p1#
需要在namenode上设置用户及其组。默认情况下,hadoop从那里的os设置获取组Map。参见此处示例:https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/hdfspermissionsguide.html#group_mapping