我是一个scala新手，广泛使用pyspark（在DataBricks，FWIW上），我发现在python中Protobuf反序列化对我来说太慢了，所以我把我的反序列化udf移植到scala中。
我已经将我的.proto文件编译为scala，然后使用scalapb编译了一个JAR，如here所述
当我尝试使用这些指令来建立UDF时，如下所示：

import gnmi.gnmi._
import org.apache.spark.sql.{Dataset, DataFrame, functions => F}
import spark.implicits.StringToColumn
import scalapb.spark.ProtoSQL

// import scalapb.spark.ProtoSQL.implicits._
import scalapb.spark.Implicits._

val deserialize_proto_udf = ProtoSQL.udf { bytes: Array[Byte] => SubscribeResponse.parseFrom(bytes) }

出现以下错误：

command-4409173194576223:9: error: could not find implicit value for evidence parameter of type frameless.TypedEncoder[Array[Byte]]
val deserialize_proto_udf = ProtoSQL.udf { bytes: Array[Byte] => SubscribeResponse.parseFrom(bytes) }

我已经仔细检查了我是否导入了正确的隐含语句，但没有结果。我对隐含语句、证据参数和scala都很模糊。
如果有人能给我指出正确的方向，我将非常感激。我甚至不知道如何开始诊断！！！

更新

frameless似乎不包含Array[Byte]的隐式编码器？？？这是可行的：

frameless.TypedEncoder[Byte]

这不会：

frameless.TypedEncoder[Array[Byte]]

frameless.TypedEncoder的代码似乎包括一个通用的Array编码器，但我不确定我是否正确阅读了它。
@Dymtro，谢谢你的建议，这很有帮助。
有人知道这里发生了什么吗？

更新

好的，进度-这看起来像是DataBricks的问题。我认为笔记本在启动时会做如下操作：

import spark.implicits._

我使用的是scalapb，它要求您不要这样做
我现在正在寻找一种方法来禁用自动导入，或者在导入模块后“取消导入”或“隐藏”这些模块。