我是storm的新手,我已经在hdp集群上使用hdp storm on yarn页面上的说明和来自安丰storm yarn git项目的storm yarn master设置了storm on yarn。
我可以让nimbus运行,甚至提交拓扑,并在StormUI上看到它们。然而,喷口和螺栓似乎不“工作”(0计数元组发射)。
我做了一些调查,发现我的工作守护进程没有启动。主管日志显示:
2014-03-13 11:22:03 b.s.d.supervisor [INFO] 18bf93a1-1cea-4e99-93da-8f36a4e9c056 still hasn't started
我尝试从Superviser日志中的“使用命令启动worker”行启动worker命令,但出现以下错误:
Exception in thread "main" java.lang.NoClassDefFoundError: backtype/storm/daemon/worker
Caused by: java.lang.ClassNotFoundException: backtype.storm.daemon.worker
at java.net.URLClassLoader$1.run(URLClassLoader.java:202)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)
at java.lang.ClassLoader.loadClass(ClassLoader.java:247)
Could not find the main class: backtype.storm.daemon.worker. Program will exit.
看起来它找不到worker类,尽管它存在于storm core jar中。
关于如何解决这个问题有什么想法吗?我已经附上了nimbus和主管日志。工作日志似乎尚未创建。
nimbus日志-http://paste.ubuntu.com/7089418/ 主管日志-http://paste.ubuntu.com/7089422/
hadoop版本-2.2 storm版本-0.9.0-wip21
1条答案
按热度按时间eoigrqb61#
当我创建的jar文件没有排除storm二进制文件时,我遇到了这样的问题。i、 e.在pom.xml文件中,确保已将storm core依赖项设置为:
同样,我也遇到了在storm lib文件夹中安装多个版本netty的问题(必须删除旧版本jar)。这也导致noclassdeffounderrors被抛出(尽管与您正在经历的不同)。
我建议您查看提交拓扑时显示的类路径(您可以通过ps-af | grepstorm实现)