我使用blob存储(通用v1)作为主存储来旋转kafka集群。没有其他存储连接。但是,kafka节点无法访问同一存储上的blob文件。spark/r集群可以访问同一blob上的文件。我创建了另一个Kafka集群,但问题仍然存在。我为每个集群提供了不同的容器名称。
命令: hdfs dfs -ls wasb://elckafka2@demostoragepoc.blob.core.windows.net/
错误:
ls:org.apache.hadoop.fs.azure.azureexception:在配置中找不到帐户demostoragepoc.blob.core.windows.net的凭据,并且无法使用匿名凭据访问其容器elckafka2。请先检查容器是否存在。如果它不公开,您必须提供帐户凭据。
谢谢!
2条答案
按热度按时间nkhmeac61#
note:private containers 在未连接到群集的存储帐户中:除非在提交webhcat作业时定义存储帐户,否则无法访问容器中的blob。
为了您的理解,我创建了以下三个容器:;
如果您使用hdinsight访问容器,那么对于private和blob public访问级别,您将得到相同的错误消息,并为容器public访问级别提供所需的输出。
有关更多详细信息,请参阅“hdinsight存储体系结构”和“hadoop azure支持:azure blob存储”。
5f0d552i2#
在你的
core-site.xml
,请确保:然后确保该文件已传播到集群中的所有节点,并确保重新启动读取该文件的任何程序。