spark在ec2-hdfs上的应用

yx2lnoni  于 2021-05-30  发布在  Hadoop
关注(0)|答案(0)|浏览(177)

当我运行一个以一个小数据集为参数的小程序时,我得到以下错误:
输入路径不存在:hdfs://ec2-52-16-229-29.us-west-1.compute.amazonaws.com:9000/用户/根/文件名
我把数据集上传到主机,然后把它上传到从机。我从来没有说过我想要hdfs中的数据集,它搜索的路径不是我作为参数传递的路径!
我假设,因为我没有使用s3或其他外部数据源,所以必须使用hdfs,并且我不能在每台机器上以本地方式访问数据集。这只是一个很小的数据集,所以我没有看到使用hdfs的好处。
如何将文件放入hdfs?那么我应该把什么文件路径作为参数传递给我的jar呢?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题