我想使用Spark 3.3.0版本的功能，如Trigger.availableNow在AWS胶水3.0与scala，但AWS胶水3.0使用ApacheSpark版本3.1.1，有没有办法使用ApacheSpark3.3.0在AWS胶水3.0与scala。
Trigger.availableNow
iyr7buue1#
不，很遗憾这是不可能的。你只能使用Glue provides的版本。如果你想使用不同的Spark版本，你必须使用AWS EMR，他们支持Spark 3. 2. 0。
cigdeys32#
Spark 3.3.0现在可与AWS Glue 4.0https://aws.amazon.com/about-aws/whats-new/2022/11/introducing-aws-glue-4-0/一起使用
2条答案
按热度按时间iyr7buue1#
不，很遗憾这是不可能的。你只能使用Glue provides的版本。如果你想使用不同的Spark版本，你必须使用AWS EMR，他们支持Spark 3. 2. 0。
cigdeys32#
Spark 3.3.0现在可与AWS Glue 4.0https://aws.amazon.com/about-aws/whats-new/2022/11/introducing-aws-glue-4-0/一起使用