我想将我的工作负载从本地移动到azure blob。我可以使用distcp将工作负载移动到azure吗？因为它是blob，所以我将在目标参数中使用wasb。在这种情况下，wasb会起作用吗？
z0qdvdin1#
注意：distcp（分布式拷贝）是一个用于集群间/集群内大型拷贝的工具。它使用mapreduce实现其分发、错误处理和恢复以及报告。它将文件和目录列表展开为Map任务的输入，每个任务将复制源列表中指定的文件分区。如果您有一个可以访问数据湖存储的hdinsight集群，那么可以使用hadoop生态系统工具（如distcp）将数据复制到hdinsight集群存储（wasb）或从hdinsight集群存储复制到数据湖存储帐户。本文提供了有关如何使用distcp工具的说明。如果您想在azure blob之间传输数据，请参阅以下文章：在windows上使用azcopy传输数据。在linux上用azcopy传输数据。
qyuhtwio2#
如果你加上 fs.azure 属性设置为core-site.xml，然后您可以将任何与hadoop兼容的文件系统与azure进行distcp有关示例，请参阅文档
fs.azure
2条答案
按热度按时间z0qdvdin1#
注意：distcp（分布式拷贝）是一个用于集群间/集群内大型拷贝的工具。它使用mapreduce实现其分发、错误处理和恢复以及报告。它将文件和目录列表展开为Map任务的输入，每个任务将复制源列表中指定的文件分区。
如果您有一个可以访问数据湖存储的hdinsight集群，那么可以使用hadoop生态系统工具（如distcp）将数据复制到hdinsight集群存储（wasb）或从hdinsight集群存储复制到数据湖存储帐户。本文提供了有关如何使用distcp工具的说明。
如果您想在azure blob之间传输数据，请参阅以下文章：
在windows上使用azcopy传输数据。
在linux上用azcopy传输数据。
qyuhtwio2#
如果你加上
fs.azure属性设置为core-site.xml，然后您可以将任何与hadoop兼容的文件系统与azure进行distcp有关示例，请参阅文档