如何在Tensorflow 2.0 + Keras中进行并行GPU推理？

jljoyd4f 于 2022-12-13 发布在其他

关注(0)|答案(2)|浏览(214)

让我们从我刚刚接触TensorFlow和深度学习这一前提开始。
我使用tf.Model.train()训练了TF 2.0 Keras风格的模型，两个可用的GPU，我希望缩减推理时间。
我使用极其方便的tf.distribute.MirroredStrategy().scope()上下文管理器训练了跨GPU分布的模型

mirrored_strategy = tf.distribute.MirroredStrategy()

with mirrored_strategy.scope():
  model.compile(...)
  model.train(...)

两个GPU都得到了有效的使用（即使我对结果的准确性不太满意）。
我似乎找不到类似的策略来使用tf.Model.predict()方法在GPU之间分配推理：当我运行model.predict()时，我（显然）只从两个GPU中的一个获得使用率。
是否有可能在两个GPU上实现相同的模型，并并行地向它们提供不同的数据块？
有一些帖子建议如何在TF1.x中实现，但我似乎无法在TF2.0中复制这些结果
https://medium.com/@sbp3624/tensorflow-multi-gpu-for-inferencing-test-time-58e952a2ed95
Tensorflow: simultaneous prediction on GPU and CPU
我对这个问题的思考主要是

TF 1.x是基于tf.Session()的，而会话在TF2.0中是隐式的，如果我理解正确的话，我读到的解决方案对每个GPU使用单独的会话，我真的不知道如何在TF2.0中复制它
我不知道如何在特定会话中使用model.predict()方法。

我知道这个问题可能没有很好地表述，但我将其总结为：
有没有人知道如何在TF2.0中在多个GPU上运行Keras风格的model.predict()（以并行方式在每个GPU上对不同的数据批进行推理）？
提前感谢您的帮助。

keras

来源：https://stackoverflow.com/questions/58951331/how-to-do-parallel-gpu-inferencing-in-tensorflow-2-0-keras

2条答案

按热度按时间

lb3vh1jj1#

尝试在tf.distribute.MirroredStrategy中加载模型并使用更大的batch_size

mirrored_strategy = tf.distribute.MirroredStrategy()

with mirrored_strategy.scope():
    model = tf.keras.models.load_model(saved_model_path)

result = model.predict(batch_size=greater_batch_size)

赞(0）回复(0）举报 2022-12-13

hwazgwia2#

似乎还没有一个正式的分布式推理的例子。这里有一个潜在的解决方案，使用tf.distribute.MirroredStrategy：https://github.com/tensorflow/tensorflow/issues/37686 .然而，它似乎并没有充分利用多个gpus

赞(0）回复(0）举报 2022-12-13