当我这样做时,在Cluster1上运行的Databricks笔记本中
path='dbfs:/Shared/P1-Prediction/Weights_folder/Weights'
model.save_weights(path)
然后马上尝试
ls 'dbfs:/Shared/P1-Prediction/Weights_folder'
我在输出显示中看到实际权重文件
但是,当我在群集2上运行的另一个Databricks笔记本电脑上运行完全相同的命令ls 'dbfs:/Shared/P1-Prediction/Weights_folder'
时,我收到错误
ls: cannot access 'dbfs:/Shared/P1-Prediction/Weights_folder': No such file or directory
我无法解释这个问题。这是否意味着我的“保存_weights”将权重保存在集群内存中,而不是实际的物理位置?如果是这样,是否有解决方案?任何帮助都是非常感谢的。
1条答案
按热度按时间rqcrx0a61#
Tensorflow使用Python的本地文件API,该API不适用于
dbfs:/...
-您需要更改路径以使用/dbfs/...
而不是dbfs:/...
。但实际上,使用MLflow记录模型可能更好,在这种情况下,您可以轻松加载它进行推理。请参阅documentation,也许还可以参阅此example。