pyspark AWS EMR无服务器Spark作业异常

bqujaahr 于 12个月前发布在 Spark

关注(0)|答案(1)|浏览(125)

当尝试运行一个简单的spark作业，从s3读取一个json文件并打印模式时，会得到这个错误。

"com.amazonaws.emr.serverless.shaded.software.amazon.awssdk.services.emrserverlessresourcemanager.model.ServiceQuotaExceededException: Worker could not be allocated as the account has reached the service limit on the maximum vCPU it can use concurrently "

我正在运行这一个作业与1驱动程序。核心和1执行器。核心和1执行器示例。ServiceMonitor设置为并发使用16个vCPU。有人能解释一下我怎么可能达到服务费限制吗？

pyspark

来源：https://stackoverflow.com/questions/77129088/aws-emr-serverless-spark-job-excepton