您可以按照structured streaming+kafka integration指南中给出的指导来理解如何将二进制值转换为字符串值。

val df = spark
  .readStream
  .format("kafka")
  .option("kafka.bootstrap.servers", "host1:port1,host2:port2")
  .option("subscribe", "topic1")
  .load()

df.selectExpr("CAST(value AS STRING)")
  .as[String]

然后可以根据实际的json结构定义模式，例如：

val schema: StructType = new StructType()
    .add("field1", StringType)
    .add("field2", ArrayType(new StructType()
      .add("f2", StringType)
      .add("f2", DoubleType)
    ))

使用 from_json 函数将允许您处理json字符串中的数据，请参阅文档，例如：

df.selectExpr("CAST(value AS STRING)")
  .select(from_json('json, schema).as("data"))

这样，您就可以通过使用结构化api（如 withColumn 以及 drop .
如果不想定义整个模式，可以考虑使用 get_json_object .