我在hadoop中已经有了服务器csv文件,当我尝试的时候
hdfs = pyhdfs.HdfsClient(hosts='34.71.193.160:8123', user_name='root') files_name = hdfs.listdir('/user/input/')
收到此错误消息,找不到如何修复
HdfsException: Expected JSON. Is WebHDFS enabled? Got ''
1qczuiv01#
我在做黄麻笔记本上的事spark可以直接从namenode读取。不要使用webhdfse、 g.逐行读取目录中的所有文件
df = spark.read.csv("/user/input") df.show()
1条答案
按热度按时间1qczuiv01#
我在做黄麻笔记本上的事
spark可以直接从namenode读取。不要使用webhdfs
e、 g.逐行读取目录中的所有文件