用于scala 2.12的twitter api

mum43rcc  于 2021-05-27  发布在  Spark
关注(0)|答案(1)|浏览(300)

我正在用Scala2.12(用sbt构建)构建spark(3.0.0)流应用程序。我如何从twitterapi获取tweets,因为所有的库都是针对scala<=2.11的。
编辑:尝试使用libs构建时获得的示例输出:

object twitter is not a member of package org.apache.spark.streaming
[error] import org.apache.spark.streaming.twitter.TwitterUtils
zu0ti5jz

zu0ti5jz1#

为了进口 spark-streaming-twitter 在scala 2.12中,需要在导入中指定scala版本:

resolvers += "twitter_2" at "https://mvnrepository.com/artifact/org.apache.spark/spark-streaming-twitter"
libraryDependencies += "org.apache.spark" % "spark-streaming-twitter_2.11" % "1.6.3"

这个调用强制从artifactory获取scala2.11版本。尝试的导入可能是:

libraryDependencies += "org.apache.spark" %% "spark-streaming-twitter" % "1.6.3"

这个 sbt 搜索 spark-streaming-twitter_2.12 如果您的scala构建版本是2.12,maven atifactory中确实存在这个版本。
话虽如此,在做这件事之前,您需要了解scala发行版的二进制兼容性。
导入后,您可以调用:

import org.apache.spark.streaming.twitter.TwitterUtils

相关问题