在数据块中节省tensorflow 模型的权重

yacmzcpb  于 2023-01-09  发布在  其他
关注(0)|答案(1)|浏览(118)

当我这样做时,在Cluster1上运行的Databricks笔记本中

path='dbfs:/Shared/P1-Prediction/Weights_folder/Weights'
model.save_weights(path)

然后马上尝试

ls 'dbfs:/Shared/P1-Prediction/Weights_folder'

我在输出显示中看到实际权重文件
但是,当我在群集2上运行的另一个Databricks笔记本电脑上运行完全相同的命令ls 'dbfs:/Shared/P1-Prediction/Weights_folder'时,我收到错误

ls: cannot access 'dbfs:/Shared/P1-Prediction/Weights_folder': No such file or directory

我无法解释这个问题。这是否意味着我的“保存_weights”将权重保存在集群内存中,而不是实际的物理位置?如果是这样,是否有解决方案?任何帮助都是非常感谢的。

rqcrx0a6

rqcrx0a61#

Tensorflow使用Python的本地文件API,该API不适用于dbfs:/...-您需要更改路径以使用/dbfs/...而不是dbfs:/...
但实际上,使用MLflow记录模型可能更好,在这种情况下,您可以轻松加载它进行推理。请参阅documentation,也许还可以参阅此example

相关问题