使用python将数据推入hdfs

x759pob2  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(274)

我使用下面的python代码run through putty调用一些天气预报数据的api:

r = requests.get('http://datapoint.metoffice.gov.uk/public/data/val/wxfcs/all/xml/350509?res=3hourly&key=abc-123-mnb-0987')

请任何人建议正确的语法将这些数据直接导入hdfs(我在vm上运行hdf2.4沙盒)?

pgx2nnw8

pgx2nnw81#

像这样:

r = requests.get('http://datapoint.metoffice.gov.uk/public/data/val/wxfcs/all/xml/350509?res=3hourly&key=abc-123-mnb-0987') 
os.system('echo "%s" | hdfs dfs -copyFromLocal - /path/in/hdfs' %(r.text))

相关问题