AWS Glue 0.9版Python和Scala脚本测试

r1zhe5dt  于 2023-10-18  发布在  Scala
关注(0)|答案(1)|浏览(111)

我们将致力于aws glue 0.9版本到4.0的升级。作为分析的一部分,我们正在检查要做的更改。为了测试的目的,我们已经创建了一些示例AWS胶水0.9 Python和Scala程序。但这里的挑战部分是,由于0.9版本已经退役。我们无法测试我们拥有的0.9脚本
以下是AWS文档:
AWS Glue不再接受null参数。如果在参数中传递0.9或1.0,则会遇到错误“Glue Version 0.9(或)1.0 is not supported”。
到目前为止,我们只是假设作为测试(0.9版本)的一部分创建的脚本是正确的,但它不是正确的方法。你能告诉我们是否有任何方法可以测试aws glue 0.9 python和scala脚本。

niwlg2el

niwlg2el1#

没有办法测试我所知道的0.9脚本。您可以查看developing locally,但请注意:本地开发并不总是保证脚本可以在AWS上工作。
也就是说,版本之间有 * 非常 * 重大的变化(不再支持的方法,性能问题,并行化问题)-至少有3个突破性的升级(0 -> 12 -> 33 -> 4),所以根据所涉及的工作,您可能希望从头开始重写脚本。

相关问题