如何用python在hadoop中保存文件

irlmq6kh  于 2021-06-02  发布在  Hadoop
关注(0)|答案(2)|浏览(397)

我试图用python2.7在hadoop中保存文件。我在网上搜索过。我有一些代码在hadoop中保存一个文件,但是它在保存时占用了整个文件夹(文件夹中的所有文件都在hadoop中保存)。但我需要保存一个特定的文件。
以下是在hadoop中保存文件夹的链接:http://www.hadoopy.com/en/latest/tutorial.html#putting-hdfs数据
现在我需要的是在hadoop中保存一个特定的文件,比如 .txt .
这是我的密码:

import hadoopy
hdfs_path = 'hdfs://192.168.x.xxx:xxxx/video/py5'
def main():
   local_path = open('abc.txt').read()
   hadoopy.writetb(hdfs_path, local_path)

if __name__ == '__main__':
    main()

我来了 need more than one value to unpack 任何帮助都将不胜感激。

toiithl6

toiithl61#

http://www.hadoopy.com/en/latest/api.html?highlight=hadoopy.writetb#hadoopy.writetb
writedb需要第二个参数作为kvs–的迭代器(key,value)
根据你给出的链接,你忘记复制函数了 read_local_dir 在你的代码里。

yzxexxkh

yzxexxkh2#

这个 hadoopy.writetb 似乎期望两个值的iterable作为其第二个参数。尝试:

hadoopy.writetb(hdfs_path, [("abc.txt", open("abc.txt").read())])

相关问题