在我的scala代码中,我通过sbt run命令运行它,我正在创建本地spark会话,我需要使用以下库:com.microsoft。azure:azure-eventhubs-spark_2.12:2.3.17
我的代码:
import org.apache.spark.sql.SparkSession
import org.apache.spark.eventhubs._
...
val spark = SparkSession.builder
.master("local")
.appName("RandomForestClassifierExample")
.getOrCreate()
...
val connectionString = ConnectionStringBuilder("<connectionstring>")
.setEventHubName("energinet")
.build
val eventHubsConf = EventHubsConf(connectionString)
.setStartingPosition(EventPosition.fromEndOfStream)
.setConsumerGroup("$default")
val eventhubs = spark.readStream
.format("eventhubs")
.options(eventHubsConf.toMap)
.load()
当然它失败了,因为缺少事件集线器库。我知道我可以通过设置--packages参数来运行spark submit并提取库,但是我想使用sbt run命令运行我的应用程序。请问有没有一种方法,如何使库可用于我从scala代码创建的本地spark会话?
暂无答案!
目前还没有任何答案,快来回答吧!