在docker容器上模拟spark独立集群,并在集群内运行python项目

zzlelutf  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(237)

我很新使用Spark。为了个人发展,我可以通过不同的方式模拟一个星火团 docker 容器。我有一个python项目,它有一个运行代码的大型结构,使用 pyspark . 因此,在构建节点的映像中,我还安装了依赖项(特别是使用 poetry ). 我的问题与开发方面有关,如果我更改本地代码,我必须重新生成映像(仅安装包的部分),而且这需要太多时间,我无法实时查看我的新闻代码功能。有没有像“尝试失败”模式这样的开发工具?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题