-第一个月第一个月

• 编辑：* 这实际上并不等同于F.cross_entropy。后者只能处理单类分类设置。而不是更一般的多类分类情况，即标签可以由多个类组成。实际上，F.cross_entropy将唯一的类ID作为目标（每个示例），而不是tf.nn.softmax_cross_entropy_with_logits可以期望接收的类的概率分布。

>>> logits = torch.tensor([[4.0, 2.0, 1.0], [0.0, 5.0, 1.0]])
>>> labels = torch.tensor([[1.0, 0.0, 0.0], [0.0, 0.8, 0.2]])

为了得到所需的结果，对你的logits应用log-softmax，然后取负对数似然：

>>> -torch.sum(F.log_softmax(logits, dim=1) * labels, dim=1)
tensor([0.1698, 0.8247])

-tf.nn.sigmoid_cross_entropy_with_logits（第四个数字）

对于这个，您可以应用F.binary_cross_entropy_with_logits。

>>> F.binary_cross_entropy_with_logits(logits, labels, reduction='none')
tensor([[0.0181, 2.1269, 1.3133],
        [0.6931, 1.0067, 1.1133]])

这相当于先应用S形，然后应用负对数似然，将每个类视为二元分类任务：

>>> labels*-torch.log(torch.sigmoid(logits)) + (1-labels)*-torch.log(1-torch.sigmoid(logits))
tensor([[0.0181, 2.1269, 1.3133],
        [0.6931, 1.0067, 1.1133]])

• 已将torch.nn.functional导入为F *。

nn.CrossEntropyLoss的输出与tf.nn.softmax_cross_entropy_with_logits相同

>>> import torch

>>> loss_fct = torch.nn.CrossEntropyLoss(reduction='none')

>>> preds = np.array([[.4, 0, 0, 0.6, 0], [.8, 0, 0, 0.2, 0]])
>>> labels = np.array([[0, 0, 0, 1.0, 0], [1.0, 0, 0, 0, 0]])

>>> preds = torch.from_numpy(preds)
>>> labels = torch.from_numpy(labels)

>>> loss_fct(preds, labels)
tensor([1.2428, 1.0636], dtype=torch.float64)

reduction参数默认为mean。我将其设置为none以匹配您的输出。
nn.BCEWithLogitsLoss的输出与tf.nn.sigmoid_cross_entropy_with_logits相同

>>> tf.nn.sigmoid_cross_entropy_with_logits(logits=tf_preds, labels=tf_labels)
<tf.Tensor: shape=(2, 5), dtype=float32, numpy=
array([[0.91301525, 0.6931472 , 0.6931472 , 0.43748793, 0.6931472 ],
       [0.37110066, 0.6931472 , 0.6931472 , 0.79813886, 0.6931472 ]],
      dtype=float32)>

>>> loss_fct = torch.nn.BCEWithLogitsLoss(reduction='none')
>>> loss_fct(preds, labels, )
tensor([[0.9130, 0.6931, 0.6931, 0.4375, 0.6931],
        [0.3711, 0.6931, 0.6931, 0.7981, 0.6931]], dtype=torch.float64)