根据Apache Beam Spark Runner的说法：
从Spark Runner 3.2开始，Beam 2.46.0不再支持Spark 2.4.x
这意味着您当前的Spark Runner版本中不支持Beam 2.50.0和Spark 2.4.x。
通过添加beam-runners-spark-3、apache-streaming和apache-core来尝试这些依赖项

<dependency>
  <groupId>org.apache.beam</groupId>
  <artifactId>beam-runners-spark-3</artifactId>
  <version>2.50.0</version>
</dependency>
<dependency>
  <groupId>org.apache.spark</groupId>
  <artifactId>spark-core_2.12</artifactId>
  <version>2.4.8</version>
</dependency>
<dependency>
  <groupId>org.apache.spark</groupId>
  <artifactId>spark-streaming_2.12</artifactId>
  <version>2.4.8</version>
</dependency>

参考文档更多的信息，因为它有完整的一步一步的过程，就如何设置和使它运行。

**注意：**里面有maven shade插件示例和dataproc示例。

希望这对你有帮助。