如何将压缩的tsv文件读入databricks上的dataframe?

myzjeezk  于 2021-05-27  发布在  Spark
关注(0)|答案(1)|浏览(448)

我正在尝试使用databricks从sftp上的压缩tsv文件读取数据,但是遇到了困难(尝试使用pysftp和sqlcontext读取tsv)。有没有人有一些示例代码或资源/视频链接来解释如何实现这一点?
谢谢

p8ekf7hl

p8ekf7hl1#

最后想出来了:

with ftp.open("TestFile.zip") as f:
    dfTest = pd.read_csv(f, compression='zip', sep='\t')

相关问题