点击上方，选择星标或置顶，每天给你送干！
阅读大概需要12分钟
跟随小博主，每天进步一丢丢
本文代码基于 PyTorch 1.0 版本，需要用到以下包
基础配置
检查 PyTorch 版本
更新 PyTorch
PyTorch 将被安装在 anaconda3/lib/python3.7/site-packages/torch/目录下。
固定随机种子
指定程序运行在特定 GPU 卡上
在命令行指定环境变量
或在代码中指定
判断是否有 CUDA 支持
设置为 cuDNN benchmark 模式
Benchmark 模式会提升计算速度，但是由于计算中有随机性，每次网络前馈结果略有差异。
如果想要避免这种结果波动，设置
清除 GPU 存储
有时 Control-C 中止运行后 GPU 存储没有及时释放，需要手动清空。在 PyTorch 内部可以
或在命令行可以先使用 ps 找到程序的 PID，再使用 kill 结束该进程
或者直接重置没有被清空的 GPU
张量处理
张量基本信息
数据类型转换
torch.Tensor 与 np.ndarray 转换
torch.Tensor 与 PIL.Image 转换
PyTorch 中的张量默认采用 N×D×H×W 的顺序，并且数据范围在 [0, 1]，需要进行转置和规范化。
np.ndarray 与 PIL.Image 转换
从只包含一个元素的张量中提取值
这在训练时统计 loss 的变化过程中特别有用。否则这将累积计算图，使 GPU 存储占用量越来越大。
张量形变
张量形变常常需要用于将卷积层特征输入全连接层的情形。相比 torch.view，torch.reshape 可以自动处理输入张量不连续的情况。
打乱顺序
水平翻转
PyTorch 不支持 tensor[::-1] 这样的负步长操作，水平翻转可以用张量索引实现。
复制张量
有三种复制的方式，对应不同的需求。
拼接张量
注意 torch.cat 和 torch.stack 的区别在于 torch.cat 沿着给定的维度拼接，而 torch.stack 会新增一维。例如当参数是 3 个 10×5 的张量，torch.cat 的结果是 30×5 的张量，而 torch.stack 的结果是 3×10×5 的张量。
将整数标记转换成独热（one-hot）编码
PyTorch 中的标记默认从 0 开始。
得到非零/零元素
张量扩展
矩阵乘法
计算两组数据之间的两两欧式距离
模型定义
卷积层
最常用的卷积层配置是
如果卷积层配置比较复杂，不方便计算输出大小时，可以利用如下可视化工具辅助
链接：https://ezyang.github.io/convolution-visualizer/index.html
0GAP（Global average pooling）层
双线性汇合（bilinear pooling）
多卡同步 BN（Batch normalization）
当使用 torch.nn.DataParallel 将代码运行在多张 GPU 卡上时，PyTorch 的 BN 层默认操作是各卡上数据独立地计算均值和标准差，同步 BN 使用所有卡上的数据一起计算 BN 层的均值和标准差，缓解了当批量大小（batch size）比较小时对均值和标准差估计不准的情况，是在目标检测等任务中一个有效的提升性能的技巧。
链接：https://github.com/vacancy/Synchronized-BatchNorm-PyTorch
类似 BN 滑动平均
如果要实现类似 BN 滑动平均的操作，在 forward 函数中要使用原地（inplace）操作给滑动平均赋值。
计算模型整体参数量
类似 Keras 的 model.summary() 输出模型信息
链接：https://github.com/sksq96/pytorch-summary
模型权值初始化
注意 model.modules() 和 model.children() 的区别：model.modules() 会迭代地遍历模型的所有子层，而 model.children() 只会遍历模型下的一层。
部分层使用预训练模型
注意如果保存的模型是 torch.nn.DataParallel，则当前的模型也需要是
将在 GPU 保存的模型加载到 CPU
数据准备、特征提取与微调
得到视频数据基本信息
TSN 每段（segment）采样一帧视频
提取 ImageNet 预训练模型某层的卷积特征
提取 ImageNet 预训练模型多层的卷积特征
其他预训练模型
链接：https://github.com/Cadene/pretrained-models.pytorch
微调全连接层
以较大学习率微调全连接层，较小学习率微调卷积层
模型训练
常用训练和验证数据预处理
其中 ToTensor 操作会将 PIL.Image 或形状为 H×W×D，数值范围为 [0, 255] 的 np.ndarray 转换为形状为 D×H×W，数值范围为 [0.0, 1.0] 的 torch.Tensor。
训练基本代码框架
标记平滑（label smoothing）
Mixup
L1 正则化
不对偏置项进行 L2 正则化/权值衰减（weight decay）
梯度裁剪（gradient clipping）
计算 Softmax 输出的准确率
可视化模型前馈的计算图
链接：https://github.com/szagoruyko/pytorchviz
可视化学习曲线
有 Facebook 自己开发的 Visdom 和 Tensorboard 两个选择。
https://github.com/facebookresearch/visdom
https://github.com/lanpa/tensorboardX
得到当前学习率
学习率衰减
保存与加载断点
注意为了能够恢复训练，我们需要同时保存模型和优化器的状态，以及当前的训练轮数。
计算准确率、查准率（precision）、查全率（recall）
PyTorch 其他注意事项
模型定义
- 建议有参数的层和汇合（pooling）层使用 torch.nn 模块定义，激活函数直接使用 torch.nn.functional。torch.nn 模块和 torch.nn.functional 的区别在于，torch.nn 模块在计算时底层调用了 torch.nn.functional，但 torch.nn 模块包括该层参数，还可以应对训练和测试两种网络状态。使用 torch.nn.functional 时要注意网络状态，如
- model(x) 前用 model.train() 和 model.eval() 切换网络状态。
- 不需要计算梯度的代码块用 with torch.no_grad() 包含起来。model.eval() 和 torch.no_grad() 的区别在于，model.eval() 是将网络切换为测试状态，例如 BN 和随机失活（dropout）在训练和测试阶段使用不同的计算方法。torch.no_grad() 是关闭 PyTorch 张量的自动求导机制，以减少存储使用和加速计算，得到的结果无法进行 loss.backward()。
- torch.nn.CrossEntropyLoss 的输入不需要经过 Softmax。torch.nn.CrossEntropyLoss 等价于 torch.nn.functional.log_softmax + torch.nn.NLLLoss。
- loss.backward() 前用 optimizer.zero_grad() 清除累积梯度。optimizer.zero_grad() 和 model.zero_grad() 效果一样。
PyTorch 性能与调试
- torch.utils.data.DataLoader 中尽量设置 pin_memory=True，对特别小的数据集如 MNIST 设置 pin_memory=False 反而更快一些。num_workers 的设置需要在实验中找到最快的取值。
- 用 del 及时删除不用的中间变量，节约 GPU 存储。
- 使用 inplace 操作可节约 GPU 存储，如
- 减少 CPU 和 GPU 之间的数据传输。例如如果你想知道一个 epoch 中每个 mini-batch 的 loss 和准确率，先将它们累积在 GPU 中等一个 epoch 结束之后一起传输回 CPU 会比每个 mini-batch 都进行一次 GPU 到 CPU 的传输更快。
- 使用半精度浮点数 half() 会有一定的速度提升，具体效率依赖于 GPU 型号。需要小心数值精度过低带来的稳定性问题。
- 时常使用 assert tensor.size() == (N, D, H, W) 作为调试手段，确保张量维度和你设想中一致。
- 除了标记 y 外，尽量少使用一维张量，使用 n*1 的二维张量代替，可以避免一些意想不到的一维张量计算结果。
- 统计代码各部分耗时
或者在命令行运行
致谢
感谢 @些许流年和@El tnoto的勘误。由于作者才疏学浅，更兼时间和精力所限，代码中错误之处在所难免，敬请读者批评指正。
参考资料
- PyTorch 官方代码：pytorch/examples (https://link.zhihu.com/?target=https%3A//github.com/pytorch/examples)
- PyTorch 论坛：PyTorch Forums (https://link.zhihu.com/?target=https%3A//discuss.pytorch.org/latest%3Forder%3Dviews)
- PyTorch 文档：http://pytorch.org/docs/stable/index.html (https://link.zhihu.com/?target=http%3A//pytorch.org/docs/stable/index.html)
- 其他基于 PyTorch 的公开实现代码，无法一一列举