我的storm类使用redis队列收集数据。
我试着在Storm中奔跑
storm jar jar_file_name.jar Topology_name configuration_file
但我有以下例外:
Exception in thread "main" java.lang.NoClassDefFoundError: Lredis/clients/jedis/Jedis;
at java.lang.Class.getDeclaredFields0(Native Method)
at java.lang.Class.privateGetDeclaredFields(Class.java:2397)
at java.lang.Class.getDeclaredField(Class.java:1946)
at java.io.ObjectStreamClass.getDeclaredSUID(ObjectStreamClass.java:1659)
at java.io.ObjectStreamClass.access$700(ObjectStreamClass.java:72)
at java.io.ObjectStreamClass$2.run(ObjectStreamClass.java:480)
at java.io.ObjectStreamClass$2.run(ObjectStreamClass.java:468)
at java.security.AccessController.doPrivileged(Native Method)
at java.io.ObjectStreamClass.<init>(ObjectStreamClass.java:468)
at java.io.ObjectStreamClass.lookup(ObjectStreamClass.java:365)
at java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:1133)
at java.io.ObjectOutputStream.writeObject(ObjectOutputStream.java:347)
at backtype.storm.utils.Utils.serialize(Utils.java:77)
at backtype.storm.topology.TopologyBuilder.createTopology(TopologyBuilder.java:111)
at OutlierPredictor.main(OutlierPredictor.java:98)
Caused by: java.lang.ClassNotFoundException: redis.clients.jedis.Jedis
at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
我使用
javac -classpath $HADOOP_CORE:$HBASE_CLASSPATH:/usr/local/hadoop- 2.2.0/redis_jar/commons-pool-1.5.5.jar:/usr/local/hadoop-2.2.0/redis_jar/jedis-2.1.0.jar:/usr/local/apache-storm-0.9.2-incubating/lib/storm-core-0.9.2-incubating.jar -d dir_name/ dir_name/Javafile.java
从命令行。
我在一个单独的节点设置中执行这个。
出什么问题了?
4条答案
按热度按时间oknrviil1#
1) 添加依赖的绝地
2) 使用程序集插件将所有依赖项打包到一个jar文件中
3) 忽略包中的风暴核心
prdp8dxp2#
您需要将所有代码和依赖项打包到一个jar中。
请参阅storm教程,拓扑部分,
运行拓扑很简单。首先,将所有代码和依赖项打包到一个jar中。然后,运行如下命令:
storm jar all-my-code.jar backtype.storm.mytopology arg1 arg2
您可能需要使用一些打包工具,如onejar、jarjar或ant,并创建一个包含所有文件和依赖项的jar。请参考这些so帖子
将多个jar合并到一个jar中
将发行版合并到一个jar文件的最简单方法
6qqygrtg3#
谢谢你约翰的回答。
但我找到了另一个解决办法。
我没有把jedis-2.1.0.jar、commons-pool-1.5.5.jar包含在我的$storm\u home/lib中/
注意:这两个文件在$redis\u内核中。
7kqas0il4#
当我们使用绝地配置时,需要绝地配置。在springboot2.0中,springbootstarter数据redis默认提供莴苣依赖,而不是jedis。要使用绝地配置,请排除莴苣并按以下方式添加绝地。