我试图在aws集群上运行map reduce步骤,但出现以下错误。有人能帮我弄清楚问题出在哪里吗?当我在我的pycharm ide中使用模拟数据运行Map程序代码时,它正在正常工作。
线程“main”java.lang.illegalargumentexception中的异常:java.net.urisyntaxexception:索引26处路径中的非法字符:s3://sg4565-nyu-2016/final project/weather\u mapper.py at org.apache.hadoop.util.generioptionsparser.validatefiles(generioptionsparser)。java:397)在org.apache.hadoop.util.genericoptionsparser.processgeneraoptions(genericoptionsparser。java:312)在org.apache.hadoop.util.genericoptionsparser.parsegeneraoptions(genericoptionsparser。java:487)在org.apache.hadoop.util.genericoptionsparser。java:170)在org.apache.hadoop.util.genericoptionsparser.(genericoptionsparser。java:153)在org.apache.hadoop.util.toolrunner.run(toolrunner。java:64)在org.apache.hadoop.util.toolrunner.run(toolrunner。java:84)在org.apache.hadoop.streaming.hadoopstreaming.main(hadoopstreaming。java:50)位于sun.reflect.nativemethodaccessorimpl.invoke0(本机方法)sun.reflect.nativemethodaccessorimpl.invoke(nativemethodaccessorimpl。java:57)在sun.reflect.delegatingmethodaccessorimpl.invoke(delegatingmethodaccessorimpl。java:43)在java.lang.reflect.method.invoke(方法。java:606)在org.apache.hadoop.util.runjar.run(runjar。java:221)在org.apache.hadoop.util.runjar.main(runjar。java:136)原因:java.net.urisyntaxception:索引26处路径中的非法字符:s3://sg4565-nyu-2016/final project/weather\u mapper.py at java.net.uri$parser.fail(uri)。java:2829)在java.net.uri$parser.checkchars(uri。java:3002)在java.net.uri$parser.parseHierarchy(uri。java:3086)在java.net.uri$parser.parse(uri。java:3034)在java.net.uri。java:595)在org.apache.hadoop.util.genericoptionsparser.validatefiles(genericoptionsparser。java:395) ... 13更多命令退出ret'1'
1条答案
按热度按时间nukf8bse1#
删除url中的空间。
Final Project
不是有效的uri路径。