我们目前正在docker容器中使用confluent hdfs sink connector平台将数据从kafka（单独的kafka集群）写入hdfs（单独的hadoop集群）。默认情况下，连接器平台使用根用户和控制盘组将数据写入hdfs。如何配置连接器以使用特定的hadoop用户/组？docker中是否需要设置环境变量？谢谢。
lqfhib0f1#
docker容器中的java进程作为根进程运行。您需要使用自己的用户帐户创建自己的容器，或者以其他方式将connectworker作为不同的unix帐户运行。你可以尝试设置 HADOOP_IDENT_USER 或者 HADOOP_USER_NAME 环境变量，但我认为它们只是由hadoop脚本拉取的，而不是javaapi请记住，如果您不使用kerberized集群，hadoop中的用户帐户实际上并不重要
HADOOP_IDENT_USER
HADOOP_USER_NAME
1条答案
按热度按时间lqfhib0f1#
docker容器中的java进程作为根进程运行。
您需要使用自己的用户帐户创建自己的容器，或者以其他方式将connectworker作为不同的unix帐户运行。
你可以尝试设置
HADOOP_IDENT_USER或者HADOOP_USER_NAME环境变量，但我认为它们只是由hadoop脚本拉取的，而不是javaapi请记住，如果您不使用kerberized集群，hadoop中的用户帐户实际上并不重要