spark与自定义maven库的本地会话

fumotvh3  于 2021-05-19  发布在  Spark
关注(0)|答案(0)|浏览(305)

在我的scala代码中,我通过sbt run命令运行它,我正在创建本地spark会话,我需要使用以下库:com.microsoft。azure:azure-eventhubs-spark_2.12:2.3.17
我的代码:

import org.apache.spark.sql.SparkSession
import org.apache.spark.eventhubs._

...

    val spark = SparkSession.builder
      .master("local")
      .appName("RandomForestClassifierExample")
      .getOrCreate()

...

  val connectionString = ConnectionStringBuilder("<connectionstring>")
    .setEventHubName("energinet")
    .build
  val eventHubsConf = EventHubsConf(connectionString)
    .setStartingPosition(EventPosition.fromEndOfStream)
    .setConsumerGroup("$default")

  val eventhubs = spark.readStream
    .format("eventhubs")
    .options(eventHubsConf.toMap)
    .load()

当然它失败了,因为缺少事件集线器库。我知道我可以通过设置--packages参数来运行spark submit并提取库,但是我想使用sbt run命令运行我的应用程序。请问有没有一种方法,如何使库可用于我从scala代码创建的本地spark会话?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题