hdinsight kafka群集无法访问主存储blob帐户

50pmv0ei  于 2021-06-08  发布在  Kafka
关注(0)|答案(2)|浏览(427)

我使用blob存储(通用v1)作为主存储来旋转kafka集群。没有其他存储连接。但是,kafka节点无法访问同一存储上的blob文件。spark/r集群可以访问同一blob上的文件。我创建了另一个Kafka集群,但问题仍然存在。我为每个集群提供了不同的容器名称。
命令: hdfs dfs -ls wasb://elckafka2@demostoragepoc.blob.core.windows.net/ 错误:
ls:org.apache.hadoop.fs.azure.azureexception:在配置中找不到帐户demostoragepoc.blob.core.windows.net的凭据,并且无法使用匿名凭据访问其容器elckafka2。请先检查容器是否存在。如果它不公开,您必须提供帐户凭据。
谢谢!

nkhmeac6

nkhmeac61#

note:private containers 在未连接到群集的存储帐户中:除非在提交webhcat作业时定义存储帐户,否则无法访问容器中的blob。
为了您的理解,我创建了以下三个容器:;

如果您使用hdinsight访问容器,那么对于private和blob public访问级别,您将得到相同的错误消息,并为容器public访问级别提供所需的输出。

有关更多详细信息,请参阅“hdinsight存储体系结构”和“hadoop azure支持:azure blob存储”。

5f0d552i

5f0d552i2#

在你的 core-site.xml ,请确保:

<property>
  <name>fs.default.name</name>
  <value>wasb://default@(your account name).blob.core.windows.net</value>
</property>
<property>
  <name>fs.azure.account.key.(your account naume).blob.core.windows.net</name>
  <value>(your long hash value from the portal)</value>
</property>

然后确保该文件已传播到集群中的所有节点,并确保重新启动读取该文件的任何程序。

相关问题