我正在用Scala2.12(用sbt构建)构建spark(3.0.0)流应用程序。我如何从twitterapi获取tweets,因为所有的库都是针对scala<=2.11的。编辑:尝试使用libs构建时获得的示例输出:
object twitter is not a member of package org.apache.spark.streaming [error] import org.apache.spark.streaming.twitter.TwitterUtils
zu0ti5jz1#
为了进口 spark-streaming-twitter 在scala 2.12中,需要在导入中指定scala版本:
spark-streaming-twitter
resolvers += "twitter_2" at "https://mvnrepository.com/artifact/org.apache.spark/spark-streaming-twitter" libraryDependencies += "org.apache.spark" % "spark-streaming-twitter_2.11" % "1.6.3"
这个调用强制从artifactory获取scala2.11版本。尝试的导入可能是:
libraryDependencies += "org.apache.spark" %% "spark-streaming-twitter" % "1.6.3"
这个 sbt 搜索 spark-streaming-twitter_2.12 如果您的scala构建版本是2.12,maven atifactory中确实存在这个版本。话虽如此,在做这件事之前,您需要了解scala发行版的二进制兼容性。导入后,您可以调用:
sbt
spark-streaming-twitter_2.12
import org.apache.spark.streaming.twitter.TwitterUtils
1条答案
按热度按时间zu0ti5jz1#
为了进口
spark-streaming-twitter
在scala 2.12中,需要在导入中指定scala版本:这个调用强制从artifactory获取scala2.11版本。尝试的导入可能是:
这个
sbt
搜索spark-streaming-twitter_2.12
如果您的scala构建版本是2.12,maven atifactory中确实存在这个版本。话虽如此,在做这件事之前,您需要了解scala发行版的二进制兼容性。
导入后,您可以调用: