我有115GB .npz
文件。是否可以直接从该文件创建tf.data.dataset?
根据:https://www.tensorflow.org/tutorials/load_data/numpy
第一步是将文件加载到np数组中:np_arr = np.load(path)
需要大量的RAM。然后创建tf.data.Dataset
:train_dataset = tf.data.Dataset.from_tensor_slices(np_arr)
如何将.npz
文件直接传递给tf.data.dataset而避免声明numpy数组?
1条答案
按热度按时间yeotifhr1#
从您的链接
data
是npz
dict
,而traion_examples
是实际的数组,它不直接将data
传递给tensor_slices
。