numpy 使用tf.data.dataset直接形成.npz文件

sxpgvts3  于 2022-12-23  发布在  其他
关注(0)|答案(1)|浏览(178)

我有115GB .npz文件。是否可以直接从该文件创建tf.data.dataset?
根据:https://www.tensorflow.org/tutorials/load_data/numpy
第一步是将文件加载到np数组中:np_arr = np.load(path)需要大量的RAM。然后创建tf.data.Datasettrain_dataset = tf.data.Dataset.from_tensor_slices(np_arr)
如何将.npz文件直接传递给tf.data.dataset而避免声明numpy数组?

yeotifhr

yeotifhr1#

从您的链接

DATA_URL = 'https://storage.googleapis.com/tensorflow/tf-keras-datasets/mnist.npz'

path = tf.keras.utils.get_file('mnist.npz', DATA_URL)
with np.load(path) as data:
  train_examples = data['x_train']
  train_labels = data['y_train']
  test_examples = data['x_test']
  test_labels = data['y_test']

train_dataset = tf.data.Dataset.from_tensor_slices((train_examples, train_labels))

datanpzdict,而traion_examples是实际的数组,它不直接将data传递给tensor_slices

相关问题