azure 如何使用python将文件从databricks共享到windows文件共享路径

tv6aics1  于 2023-10-22  发布在  Python
关注(0)|答案(1)|浏览(128)

使用下面的代码-但得到错误的连接重复使用有人可以帮助请

import ftplib
ftp_server = ftplib.FTP(HOSTNAME, USERNAME, PASSWORD)
 
# force UTF-8 encoding
ftp_server.encoding = "utf-8"
 
# Enter File Name with Extension
filename = "file1.csv"
 
# Read file in binary mode
with open(filename, "rb") as file:
    # Command for Uploading the file "STOR filename"
    ftp_server.storbinary(f"STOR {filename}", file)
 
# Get list of files
ftp_server.dir()
 
# Close the Connection
ftp_server.quit()

尝试了上述解决方案

cs7cruho

cs7cruho1#

根据this,Azure Databricks不支持连接到Windows网络共享。因此,您不能直接将文件从数据砖共享到Windows。但是,您可以按照以下步骤从Databricks下载该文件:
使用以下代码从文件路径读取文件:

filepath = '<filePath>'
file = spark.read.csv(filepath, header='true')

使用display命令显示文件的数据:

display(file)

点击下载符号将文件下载到Windows中,如下图所示:

文件将下载到Windows文件共享。或者,您可以按照以下步骤使用数据砖CLI复制文件:
从“数据砖”工作区生成访问令牌,并使用以下命令进行连接:

databricks configure --token

系统将询问主机名和令牌密钥。提供这些值并按Enter键。
主机名->https://. azuredatabricks.net
Token ->your-token-key
执行以下命令将文件从数据砖复制到Windows文件共享:

dbfs cp dbfs:/FileStore/tables/stocplace.csv <windowsfileshare>

您可以使用dir <windowsfileshare>命令检查文件是否已被复制。文件将成功复制到Windows文件共享,如下所示:

相关问题