在AWS Glue作业中运行R

bbuxkriu  于 2023-05-26  发布在  其他
关注(0)|答案(1)|浏览(120)

假设您有一组R脚本,它们构成了一个ETL管道,您希望将其作为AWS Glue作业运行。AWS Glue支持Python和Scala。
是否可以在具有Python和R依赖项的容器中运行的AWS Glue作业中将R作为Python子进程(或 Package 一组R脚本的bash脚本)调用?
如果是,请概述所需步骤和主要考虑。

vyswwuz2

vyswwuz21#

不可能

虽然可以在Glue中运行自定义代码,但由于它基于Spark,因此仅支持Scala和Python。关于Python子进程的问题,它似乎不是documentation中提到的选项:
Only pure Python libraries can be used. Libraries that rely on C extensions, such as the pandas Python Data Analysis Library, are not yet supported.
正如@Isc评论的那样,我建议使用Docker和ECS来运行使用R的批量ETL作业。

相关问题