使用命令行将文件从hdfs传输到adls gen 2的过程是否与传输到blob的过程相同？

xuo3flqw 于 2021-05-29 发布在 Hadoop

关注(0)|答案(1)|浏览(350)

在我的项目中，我们一直在azure上使用blob。我们可以把orc文件上传到一个现有的blob容器中，比如说， student_dept 非常方便地使用： hdfs fs -copyFromLocal myfolder/student_remarks/*.orc wasbs://student_dept@universitygroup.blob.core.windows.net/DEPT/STUDENT_REMARKS 我们有一个Hive外部表： STUDENT_REMARKS 创建于 student_dept 斑点。通过这种方式，我们可以非常容易地使用配置单元查询从云中访问数据。
现在，我们正试图从blob存储转移到adls gen2来存储orc文件，我正试图了解这一变化对上传/数据检索过程的影响。
我对azure完全陌生，现在我想知道的是如何将orc文件从hdfs上传到adls gen2 stoage？有什么不同？
对于不同的目的地（adls g2而不是blob）是否使用相同的命令，或者是否需要执行一些额外的操作才能将数据上载到adls g2？
有人能帮我一下吗？

hadoop Azure azure-storage azure-data-lake

来源：https://stackoverflow.com/questions/58184221/is-the-transfer-process-of-files-from-hdfs-to-adls-gen-2-using-command-line-same

1条答案

按热度按时间

2exbekwf1#

我没有尝试过，但是根据这样和这样的文档，您可以对adls gen2使用如下命令：

hdfs dfs -copyFromLocal myfolder/student_remarks/*.orc 
       abfs://student_dept@universitygroup.dfs.core.windows.net/DEPT/STUDENT_REMARKS

赞(0）回复(0）举报 2021-05-29

我来回答

使用命令行将文件从hdfs传输到adls gen 2的过程是否与传输到blob的过程相同？

1条答案

相关问题

热门标签

最新问答