我正在写一个pig嵌入的python脚本，它在hdinsights中启动并运行。我试图向python部分添加一个条件块，用于检查blob存储中的路径（例如。wasb://container@account/path)并基于此检查更新变量。似乎标准os.path.exists无法访问blob存储（或者我对文件路径使用了错误的格式）。有人在这方面运气好吗？
oalqel3c1#
wasb是一个hdfs兼容的文件系统，因此hadoop和hadoop内部运行的东西（hive、mapreduce等）都知道如何使用它；python和其他操作系统的东西没有。如果您知道hdinsight集群使用的默认存储帐户/容器，则可以使用https://github.com/azure/azure-sdk-for-python 检查容器中是否存在这样的blob。http://azure.microsoft.com/en-us/documentation/articles/storage-python-how-to-use-blob-storage/ 应该有关于使用它访问blob的信息。
1条答案
按热度按时间oalqel3c1#
wasb是一个hdfs兼容的文件系统，因此hadoop和hadoop内部运行的东西（hive、mapreduce等）都知道如何使用它；python和其他操作系统的东西没有。
如果您知道hdinsight集群使用的默认存储帐户/容器，则可以使用https://github.com/azure/azure-sdk-for-python 检查容器中是否存在这样的blob。http://azure.microsoft.com/en-us/documentation/articles/storage-python-how-to-use-blob-storage/ 应该有关于使用它访问blob的信息。