当我尝试运行spark-steaming的示例代码时：“kafka\u wordcount.py”位于文件夹：/usr/local/spark/examples/src/main/python/streaming下
代码将执行代码的指令明确描述为：
" $ bin/spark-submit --jars \ external/kafka-assembly/target/scala-*/spark-streaming-kafka-assembly-*.jar \ examples/src/main/python/streaming/kafka_wordcount.py \ localhost:2181 test test是主题名。但我找不到jar和路径：
“外部/kafka程序集/target/scala-/spark-streaming-kafka-assembly-.jar”
因此，我创建了一个文件夹“streaming/jar/”，并将网站上的所有jar放在其中http://search.maven.org/#search%7cga%7c1%7ca%3a%22spark-streaming-kafka-assembly\u 2.10%22然后当我运行时
“park submit--jars~/stream example/jars/spark-streaming-kafka-assembly.*.jar kafka\u wordcount.py”localhost:2181 topic"
这说明
“错误：jar中没有设置主类；请用--class run with--help指定用法帮助或--verbose指定调试输出”
怎么了？jar在哪里？
非常感谢！！
1条答案
按热度按时间kuhbmx9i1#
这个问题很久以前就被问过了，所以我想你现在已经明白了。但是，由于我刚刚遇到了同样的问题，我将发布对我有效的解决方案。
本指南的部署部分(http://spark.apache.org/docs/latest/streaming-kafka-integration.html)说你可以用
--packages争论，如贝娄：bin/spark-submit \ --packages org.apache.spark:spark-streaming-kafka_2.10:1.6.2 \ examples/src/main/python/streaming/kafka_wordcount.py \ localhost:2181 test您也可以在这里下载jar本身：http://search.maven.org/#search%7cga%7c1%7ca%3a%22spark-streaming-kafka-assembly\ 2.10%22注意：我没有运行上面的命令，我用另一个示例进行了测试，但它的工作方式应该相同：
bin/spark-submit --packages org.apache.spark:spark-streaming-kafka_2.10:1.6.2 \ examples/src/main/python/streaming/direct_kafka_wordcount.py \ localhost:9092 test