在https://docs.confluent.io/current/connect/kafka-connect-hdfs/index.html 列出了以下示例属性:
hdfs.authentication.kerberos=true
connect.hdfs.principal=connect-hdfs/_HOST@YOUR-REALM.COM
connect.hdfs.keytab=path to the connector keytab
hdfs.namenode.principal=namenode principal
遗憾的是,配置选项的文档https://docs.confluent.io/current/connect/kafka-connect-hdfs/configuration_options.html 简略到几乎无用的地步。
作为hadoop的使用者,而不是管理员,我对hadoop的配置有着非常模糊的理解。
有人能解释一下 connect.hdfs.principal
以及 hdfs.namenode.principal
你是为了什么?
1条答案
按热度按时间ercv8c1e1#
主体就像kerberos中的用户名。如果您是hadoop的使用者,并且需要在处理任何数据之前将keytab扭结,那么您已经被分配了一个主体。connect服务应该有自己的keytab和principal,这是列出的第一个属性
您必须找到谁为hadoop集群设置了kerberos(即管理员)才能找到namenode主体是什么,但简单的回答是,这些设置是用于向hdfs发出写请求的身份验证。虽然我不确定为什么显式需要namenode主体,但是connect(作为hadoop客户机)会联系namenode来写入数据,因此可能会在内部进行一些验证