有没有办法自动重新加载一个jupyter笔记本电脑,每次它崩溃?
我实际上正在运行一个笔记本电脑,用于训练深度学习模型(笔记本电脑可以在每次重新启动内核后重新加载模型的最后一个状态,以及优化器和调度器的状态),以便在崩溃后重新加载笔记本电脑能够在不损失大量计算的情况下恢复最后一个状态。
我想知道是否有一个简单的方法来做到这一点,使用jupyter笔记本API,或来自jupyter笔记本的信号,例如(可能在日志上)。
此外,我正在谷歌云平台(计算引擎)上运行笔记本,如果你知道任何有效的方法来做到这一点,使用GCP故障排除服务,和日志代理,它可能会感兴趣的我和其他人有同样的问题。
再次感谢您抽出时间。
我试着查找堆栈溢出的解决方案,但我没有找到任何类似的问题。
1条答案
按热度按时间v8wbuo2f1#
从您的评论:
“在崩溃后重新加载笔记本电脑可以在不损失大量计算的情况下恢复到最后一个状态。”
你怎么称呼一个崩溃,它是否会生成可以从/var/log或其他位置解析的日志(例如journalctl -u jupyter.service)?如果是这样,你可以手动创建一个shell脚本。
对于用户管理笔记本,您可以使用
post-startup-script
或startup-script
的概念post-startup-script
是笔记本示例完全启动后自动运行的Bash脚本的路径。该路径必须是URL或云存储路径。示例:“gs://文件路径/文件名”这个脚本可以是一个循环,用于监视您提到的崩溃