我遇到过一个类似的问题--可能会有帮助，也可能不确定，这取决于网络的实际情况，但基本上，我有一个多输出网络，我意识到，当我分别应用与输出相对应的梯度时，对于每个单独的损耗，网络中都有一个分支的梯度为零，但这是完全有效的并且每次都对应于紧接在非目标输出之前的终端层。为此，最后我用tf.zeros_like替换了所有None梯度，这样就可以继续训练了。如果你的网络有多个输入头，你会遇到同样的问题吗？如果它总是在图表的顶端呢
(ETA下面Nguy n Thu的解决方案是我上面描述的代码版本--与我处理它的方式完全相同）
我见过其他答案，其中梯度不计算，因为Tensor默认情况下不受监视-您必须添加它们，但看起来这不是您的问题，因为您应该只处理model.trainable_variables，或者您的myLoss函数可能会获得NaN结果或偶尔强制转换为numpy数组，具体取决于您的批处理组成。这可以解释偶发性（例如，如果您的数据非常不平衡，可能是在没有少数类别示例的批次上？）

Nguyun和gkennos给出的解决方案可以抑制错误，因为它会将所有None替换为零。然而，梯度在任何时间点都为空是一个大问题。上述问题肯定是由unconnected variables引起的（默认情况下PyTorch会抛出运行时错误）。
未连接层最常见的情况可以举例如下：

def some_func(x):
       x1 = x * some variables
       x2 = x1 + some variables #x2 discontinued after here
       x3 = x1 / some variables
       return x3

现在注意到x2是不连接的，所以梯度不会通过它传播。仔细调试代码中不连接的变量。

如果预期梯度丢失，则可通过this workaround抑制此警告：

optimizer.apply_gradients(
    (grad, var) 
    for (grad, var) in zip(gradients, model.trainable_variables) 
    if grad is not None
)

我也遇到了同样的问题。找到了自定义渐变的解决方案

def _compute_gradients(tensor, var_list):
      grads = tf.gradients(tensor, var_list)
  return [grad if grad is not None else tf.zeros_like(var)
      for var, grad in zip(var_list, grads)]

从github trouble shoot开始

渐变带的gradient方法有一个unconnected_gradients参数，允许您指定未连接的渐变应该是无还是零。www.example.comhttps://www.tensorflow.org/api_docs/python/tf/GradientTape#gradient
所以你可以换句话说：

gradients = tape.gradient(loss, model.trainable_variables)

到

gradients = tape.gradient(loss, model.trainable_variables, 
                unconnected_gradients=tf.UnconnectedGradients.ZERO)

这对我很有效。

• • 编辑-重要信息**：只有当您实际上期望某些梯度为零时，这才是一个解决方案。如果错误是由反向传播中断引起的，则这不是一个解决方案。在这种情况下，您需要找到并修复中断的位置。

我也遇到了同样的错误。这是因为我在tape.gradient()函数中给出了错误的可训练变量。如果它能帮助一些人的话。
在我的示例中，self.encoder_model.get_trainable_variables()没有返回正确的变量：

@tf.function
def train_step(x_batch):
    with tf.GradientTape() as tape:
        loss = self.encoder_model.loss.compute_loss(x_batch)
    gradients = tape.gradient(loss, self.encoder_model.get_trainable_variables())
    self.optimizer.apply_gradients(zip(gradients, self.encoder_model.get_trainable_variables()))

TLDR确保您使用的是分类交叉熵，而不是二进制交叉熵
应用程序的损失函数不正确可能会导致此问题。例如，如果输出是one-hot编码的分类标签，如[0，1]或[1，0]，则需要使用分类交叉熵损失。如果错误地使用了类似二进制交叉熵损失的函数，则不会为导致NN输出的非零分量的梯度生成梯度。

有是no梯度因为这变量doesn't影响这答案.在这代码，这调用功能是丢失一个return

class myModel(tf.keras.Model):

  def __init__(self):

    self.conv1 = Conv2D(32)
    self.conv2 = Conv2D(32)
    self.conv3 = Conv2D(16)

  def call(self, inputs):

    net1 = self.conv1(inputs)
    net2 = self.conv2(inputs)
    net = tf.concat([net1, net2], axis=2)
    net = self.conv3(net)
    return end_points = tf.nn.softmax(net)  # Change this line