损失函数基本概念
损失函数是用来评估模型预测值与真实值的不一致程度，它是一个值为非负实数的函数。损失函数越小，模型的鲁棒性就越好，就表示算法越接近意义上的最优。我们训练模型的过程，就是通过不断的迭代计算，使用梯度下降等优化算法不断调整参数，使得损失函数越来越小。PyTorch使用mini-batch来进行计算，因此PyTorch中损失函数计算出来的结果已经对mini-batch取了平均。
常见损失函数及基本用法
PyTorch中损失函数可以通过torch.nn获取，基本用法如下：
# 每个损失函数的构造函数都会有自己的参数 criterion = LossCriterion() loss = criterion(x, y)
PyTorch内置的常用的损失函数主要有如下几种。
- nn.L1Loss
L1范数损失，计算的是输入x和目标y之间差的绝对值，其中，x和y的维度必须一致，得到的loss维度也是对应一样的。
L1Loss计算公式
nn.L1Loss的基本用法如下。
L1Loss基本用法
- nn.NLLLoss
负对数似然损失函数，通常用于训练指定类别数的分类问题。
NLLLoss计算公式
nn.NLLLoss的基本用法如下。
NLLLoss基本用法
NLLLoss中如果传递了weights参数，会对损失函数进行加权，公式就变成了如下形式。
加入weights参数的NLLLoss公式
- nn.MSELoss
均方损失函数，计算的是输入x和目标y之间的均方差。
MSELoss公式
nn.MSELoss的基本用法如下。
MSELoss基本用法
- nn.CrossEntropyLoss
多分类用的交叉熵损失函数，LogSoftMax和NLLLoss集成到一个类中，会调用nn.NLLLoss函数，我们可以理解为CrossEntropyLoss( )=log_softmax( )+NLLLoss( )。
CrossEntropyLoss公式
nn.CrossEntropyLoss的基本用法如下。
CrossEntropyLoss基本用法
因为使用了NLLLoss，因此CrossEntropyLoss也可以传入weights参数，此时公式就变成了如下形式。
加入weights参数的CrossEntropyLoss公式
一般多分类的情况下就会选择此函数作为损失函数。
- nn.BCELoss
输入x和目标y之间的二进制交叉熵，通常用于二分类任务，测试重构的误差。
BCELoss公式
nn.BCELoss的基本用法如下。
BCELoss基本用法
与NLLLoss类似，BCELoss也可以添加权重参数weights，此时公式变成如下形式。
加入weights参数后的BCELoss公式
注意，使用时需要在该层前面加上一个Sigmoid( )函数。