hdfs nfs网关“没有可供用户使用的组”警告

ssm49v7z  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(491)

我使用nfs网关服务将一些数据摄取到hdfs(cdh5.4.5)中。
一切似乎都很好,直到我收到一条消息警告我,日志目录的可用空间运行非常少。我快速查找了大日志文件:

sudo find /var/log -type f -size +100000k -exec ls -lh {} \; | awk '{ print $9 ": " $5 }'

... 注意到一个34gb的文件 /var/log/hadoop-hdfs/hadoop-cmf-hdfs-NAMENODE-[fqdn-of-name-node].log.out . 快速窥视一下里面,几乎全部都是这样的警告:

2015-11-30 13:41:15,535 WARN org.apache.hadoop.security.UserGroupInformation: No groups available for user [some_user]

看到这一点,我加上 some_user 用户到 hdfs 组,即。 usermod -a -G hdfs some_user 在运行nfs网关的节点上,然后重新启动nfs网关服务。不幸的是,“没有用户可用的组…”消息仍然以惊人的速度被记录。
你能看出我做错了什么吗?是吗 some_user 帐户需要在每个节点上设置,而不仅仅是nfs网关?为了使更改生效,我需要做的不仅仅是重新启动服务吗?

q35jwt9p

q35jwt9p1#

需要在namenode上设置用户及其组。默认情况下,hadoop从那里的os设置获取组Map。参见此处示例:https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/hdfspermissionsguide.html#group_mapping

相关问题