无法使用本地hadoop连接azure blob存储

vjrehmav 于 2021-06-03 发布在 Hadoop

关注(0)|答案(1)|浏览(494)

在尝试将本地hadoop连接到hadoop版本为-2.7.1的azureblob存储（即将blob存储用作hdfs）时，它抛出异常
在这里，我通过设置属性成功地形成了本地集群

<property>
    <name>fs.default.name</name>
    <value>wasb://account@storage.blob.core.windows.net</value>
</property>

然后是core-site.xml中blob存储的键值。
在列出文件或对blob存储进行hdfs操作时，得到如下异常

ls: No FileSystem for scheme: wasb

任何人请指导我解决上述问题。

1条答案

您需要在hadoop类路径中添加hadoop-azure.jar。
下载azure存储java项目并使用maven构建它，然后您将获得azure-storage-3.0.0.jar。在hadoop类路径中添加内置jar。
现在你可以做所有的手术了。有关详细信息，请参阅azure blob存储文档。