向hadoop集群提交mr作业的最佳方式是什么？
开发人员有自己的id，例如dev-user1、dev-user2等。hadoop集群为不同的组件提供了不同的id，例如hdfs用户对hdfs，Yarn对Yarn等。这意味着dev-user1不能读/写hdfs，因为hdfs id可以访问hdfs。有人能帮我理解开发人员向hadoop集群提交作业的最佳实践是什么吗？我不想把hadoop“特定”id的细节告诉任何人。它在现实生活中是如何工作的。
k5hmc34c1#
开发人员可以向hadoop集群提交作业的最佳实践？取决于工作。。。 yarn jar 将是用于mapreduce的这意味着dev-user1不能读/写hdfs，因为hdfs id可以访问hdfs。不是所有的东西都归hdfs用户所有。你需要做点什么 /user/dev-user1 该用户拥有的hdfs目录，因此用户有一个“私有”空间。您仍然可以在hdfs上的任何其他地方创建一个目录，供多个用户写入。只有在hdfs上显式启用了权限时，才会检查权限。。。即使您这样做了，您仍然可以将两个用户放在同一个posix组中，或者使所有用户都可以全局写入目录。https://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-hdfs/hdfspermissionsguide.html在生产级集群中，hadoop由kerberos凭证保护，acl通过apacheranger或sentry管理，两者都允许细粒度的权限管理
yarn jar
/user/dev-user1
1条答案
按热度按时间k5hmc34c1#
开发人员可以向hadoop集群提交作业的最佳实践？
取决于工作。。。
yarn jar将是用于mapreduce的这意味着dev-user1不能读/写hdfs，因为hdfs id可以访问hdfs。
不是所有的东西都归hdfs用户所有。你需要做点什么
/user/dev-user1该用户拥有的hdfs目录，因此用户有一个“私有”空间。您仍然可以在hdfs上的任何其他地方创建一个目录，供多个用户写入。只有在hdfs上显式启用了权限时，才会检查权限。。。即使您这样做了，您仍然可以将两个用户放在同一个posix组中，或者使所有用户都可以全局写入目录。
https://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-hdfs/hdfspermissionsguide.html
在生产级集群中，hadoop由kerberos凭证保护，acl通过apacheranger或sentry管理，两者都允许细粒度的权限管理