pyspark 如何在AWS Glue中添加JVM参数

k5hmc34c  于 2023-06-21  发布在  Spark
关注(0)|答案(1)|浏览(117)

在一个AWS胶水作业中,我们有一个长时间运行的事务,它失败了,并出现以下错误java.sql.SQLRecoverableException:Io例外:连接重置
这是Oracle的一个常见问题,他们提供的解决方案是使用-Djava.security.egd=file:///dev/urandom
我们可以在AWS胶水中添加这个。在文档中提到不要使用-conf变量作为作业参数,因为它在AWS glue内部使用
请让我们知道是否有任何解决办法

gajydyqb

gajydyqb1#

您可以添加一个参数--java-options,并在值中添加JVM-D参数

相关问题