滚烫的示例wordcount本地模式

nbnkbykc  于 2021-06-03  发布在  Hadoop
关注(0)|答案(3)|浏览(294)

我正在尝试运行滚烫的示例字数计算的例子。我已经关注这个github链接steps:- httpshttp://github.com/twitter/shoulding/wiki/getting-started
但我发现了一个例外。下面是我的照片tacktrace:-

[cloudera@localhost scalding-develop]$**sudo scripts/scald.rb --local WordCount --input       input.txt --output ./someOutputFile.tsv**
can not find /root/.sbt/boot/scala-2.9.3/lib/scala-library.jar appending SBT_VERSION [0.12.0] to SBT_HOME
scripts/scald.rb:139: warning: already initialized constant SBT_HOME
scripts/scald.rb:140: warning: already initialized constant SCALA_LIB_DIR
Exception in thread "main" java.lang.Throwable: If you know what exactly caused this error, please consider contributing to GitHub via following link.
https://github.com/twitter/scalding/wiki/Common-Exceptions-and-possible-reasons#javalangclassnotfoundexception
at com.twitter.scalding.Tool$.main(Tool.scala:146)
at com.twitter.scalding.Tool.main(Tool.scala)
Caused by: java.lang.ClassNotFoundException: WordCount
at java.net.URLClassLoader$1.run(URLClassLoader.java:217)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:205)
at java.lang.ClassLoader.loadClass(ClassLoader.java:321)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:294)
at java.lang.ClassLoader.loadClass(ClassLoader.java:266)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:188)
at com.twitter.scalding.Job$.apply(Job.scala:39)
at com.twitter.scalding.Tool.getJob(Tool.scala:49)
at com.twitter.scalding.Tool.run(Tool.scala:69)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
at com.twitter.scalding.Tool$.main(Tool.scala:132)
... 1 more

请告诉我问题到底出在哪里?
谢谢。

f4t66c6m

f4t66c6m1#

我建议不要使用烫伤.rb。使用sbt,检查这个github回购,https://github.com/deanwampler/activator-scalding. 它包括所有必要的基本设置。

cwdobuhd

cwdobuhd2#

检查-运行eclipse文章中的烫伤作业http://hokiesuns.blogspot.co.uk/2012/07/running-your-scalding-jobs-in-eclipse.html
使用maven烫伤应该是你进入这个新的勇敢世界的第一步。几个月后给sbt一个尝试,看看你是否喜欢它
不要直接去sbt,因为它的用法并不是那么简单

gv8xihay

gv8xihay3#

检查jdk的bin目录是否在您的路径中。我也遇到了类似的问题,我不得不使用更新替代方案来安装java,但我的路径中没有包含/usr/lib/jvm/jdk-1.7.0/bin。

相关问题