docker 如何使用Google Cloud并行运行Python脚本并存储输出数据?[已关闭]

q8l4jmvw  于 2023-01-12  发布在  Docker
关注(0)|答案(1)|浏览(89)
    • 已关闭**。此问题需要超过focused。当前不接受答案。
    • 想要改进此问题吗?**更新此问题,使其仅关注editing this post的一个问题。

33分钟前就关门了。
Improve this question
我以前从未使用过云计算服务,但我目前在研究生院的研究项目需要的计算能力超过了我的笔记本电脑所能提供的。
当前情况:我的计算机上有一个conda环境,通过它我用GNU Parallel并行运行一组作业,所有作业都使用相同的Python脚本,对不同的数据集进行一些时间序列分析。脚本为每个作业输出一些图形(. png)和数据文件(. csv和. fits),这些都存储在我的计算机上。
我的目标是使用Google云服务来复制这一点,这将允许我同时运行更多的作业和/或使用比我的笔记本电脑更多的内核。
我意识到可能有相当多的步骤涉及,但任何数量的帮助将不胜感激!链接到良好的资源将是有帮助的。谢谢!
我尝试过直接从GoogleCloud站点上学习一些教程,但没有一个能直接解决我的问题。

kxxlusnw

kxxlusnw1#

我对你的问题的理解是,你希望在Google Cloud上的同一个VM示例上运行同一个作业的多个副本?如果是这样,我认为这并不是Google Cloud特有的。你可以写一个小Shell来为你做这件事:

for i in {1..20}; do nohup python3 main.py &; done

这将运行main.py 20次。你会希望nohup即使在shell死了的情况下也能让它运行(比如退出ssh),并让它在后台运行。在你正在运行的代码中,你可以使用os.getpid()或类似的命令写入不同的文件,以确保你没有覆盖文件。

相关问题