我试图用python2.7在hadoop中保存文件。我在网上搜索过。我有一些代码在hadoop中保存一个文件,但是它在保存时占用了整个文件夹(文件夹中的所有文件都在hadoop中保存)。但我需要保存一个特定的文件。
以下是在hadoop中保存文件夹的链接:http://www.hadoopy.com/en/latest/tutorial.html#putting-hdfs数据
现在我需要的是在hadoop中保存一个特定的文件,比如 .txt
.
这是我的密码:
import hadoopy
hdfs_path = 'hdfs://192.168.x.xxx:xxxx/video/py5'
def main():
local_path = open('abc.txt').read()
hadoopy.writetb(hdfs_path, local_path)
if __name__ == '__main__':
main()
我来了 need more than one value to unpack
任何帮助都将不胜感激。
2条答案
按热度按时间toiithl61#
http://www.hadoopy.com/en/latest/api.html?highlight=hadoopy.writetb#hadoopy.writetb
writedb需要第二个参数作为kvs–的迭代器(key,value)
根据你给出的链接,你忘记复制函数了
read_local_dir
在你的代码里。yzxexxkh2#
这个
hadoopy.writetb
似乎期望两个值的iterable作为其第二个参数。尝试: