如何使用python处理hdfs中的文件

bjg7j2ky  于 2021-06-04  发布在  Hadoop
关注(0)|答案(1)|浏览(323)

有人能告诉我如何在python程序中打开和处理hdfs中的文件吗?
谢谢

8yparm6h

8yparm6h1#

您可以使用以下选项之一:
https://code.google.com/p/libpyhdfs/
https://github.com/traviscrawford/python-hdfs
或者在没有外部lib的情况下执行类似操作:

file = subprocess.Popen(["hadoop", "fs", "-cat", "/path/to/file"], stdout=subprocess.PIPE)
for line in file.stdout:
    print line

相关问题