PyTorch 常见问题整理

最近刚刚开始从 Keras 换成 PyTorch,在使用过程中可能会遇到一些常见的问题,做一些整理。

1 Loss 为 NaN

可以在 python 文件头部使用如下函数打开 nan 检查:

如果遇到了 nan 的 Tensor,它会抛出异常。幸运的话它会告诉你 nan 产生的位置。比如说我遇到过:

有些时候,往往会遇到比如 Adam 就没有 nan 而 SGD 就会出现 nan,这种通常都是 Loss 设得太大,可以调低学习率试试。
其他可能产生 nan 的地方可以尝试定位下:
1、脏数据,输入有 NaN
2、设置 clip gradient
3、更换初始化参数方法

2 正确测试模型运行时间

如果是为了测试模型的前向运算运行时间,需要设置 model 为评估模式:

同时在 GPU 上测速时需要使用 torch.cuda.synchronize() 同步 CUDA 操作:

3 参数初始化

在一些任务中,如果不是使用已有训练参数而是从 0 开始训练一个空白的网络,进行参数的初始化(例如 Conv2D)会有利于加快模型的收敛,例如下面参数初始化方式是(通常可以放在 model 的 init 函数结尾):

4 获取 torchvision 中某一层的输出

工程实践中经常用 torchvision 预训练参数然后提取其中部分层进行修改。这里面可以有两种方式:
第一种,直接 copy 全部的代码,然后根据自身需要输出中间层:
例如对于 shufflenetv2 代码可以这样修改返回你需要的层(_forward_impl 是原始的,_forward_impl_with_layers 是修改的):

另外一种方法不下载代码直接调用 torchvision 中的层,这个可能需要分析每个代码的实现才能知道想要的层,比如这样打印:

打印结果类似:

比如获得 conv1 层输出就是

5 修正 The NVIDIA driver on your system is too old 错误

有时在你安装某一个版本的 PyTorch (比如 1.5.0) 时会出现如下错误提示:

在安装 PyTorch 的时候往往会指定相应的 CUDA 版本,这个错误的意思可能是你没有安装特定版本的 CUDA 或者你的 CUDA 版本与你的 GPU Driver 版本不匹配。
在 Nvidia 官网中给了我们如下的版本匹配:https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html

如果需要升级,你可以使用如下方式升级:
1)增加软件源:

2)查看可以使用的版本:

例如我这里查询结果是:

3)升级指定版本(根据上面表格找到合适的版本升级):

如果出现某些冲突问题可以尝试先卸载再安装:

PS:另外一种方式你也可以先不升级指定版本,先使用如下命令查看本地 CUDA 版本:

比如我这里显示的就是:

那么我就应该安装支持 CUDA 10.0 的版本。可能 PyTorch 1.5 就不可用了,但是 PyTorch 1.4 还是可以的,可以使用如下命令安装:

具体什么版本支持可以参考:
https://download.pytorch.org/whl/torch_stable.html
这个页面。

PS:其他常用命令:
查看 GPU 型号:

查看驱动版本:

查看 PyTorch 所用 CUDA 版本,在 PyTorch 环境中运行如下脚本:

6 修正 Expected more than 1 value per channel when training 错误

如果在训练时遇到如下错误:

一个可能的原因是出现了输入 batch_size = 1 的情况,这时可以考虑在 DataLoader 属性加上 drop_last=True 解决,它会抛弃掉不够一个 batch size 的情况。例如:

如果实在无法避免或者就需要 batch_size = 1 的训练方式,还可以考虑把网络中的 BatchNorm 换成 InstanceNorm。

7 修正 Can't call numpy() on Variable that requires grad. Use var.detach().numpy() instead 错误

如果获取变量值时,遇到下面错误:

这里面通常有两种情况:
一种是这个变量是含有训练参数的,需要反向传播,则使用 var.detach().numpy() 获取。
另一种如果这个变量是不进行训练的不需要反向传播,则将相关的代码用如下方式(with torch.no_grad())修饰即可:

8 修正 RuntimeError: error executing torch_shm_manager 错误

如果在运行多线程训练时出现类似如下错误:

可能的解决方法是注释掉如下设置(如果有的话):

9 修正 RuntimeError: Cowardly refusing to serialize non-leaf tensor which requires_grad 错误

如果在运行多线程训练时出现类似如下错误:

我们看下相关报错的函数是这样的:

经过分析我这里的发生的原因是在多线程 DataLoader 中使用了一个模型生成数据,然而这个模型的参数有一部分却是 requires_grad = True 属性的。
可以采用如下方式处理模型让生成的 Tensor 都为 no_grad:

10 修正多线程 DataLoade rnumpy random 不变错误

由于 numpy 中的 random 不是 thread safe 的,因此在多线程中,其不同线程的 random 无法生成不同的随机数,需要每个线程重新设置 random.seed 才可以。因此对于 DataLoader 在 num_workers > 0 时就可能产生问题(比如需要每次生成不同的随机数据)。对于此问题有几种修改方式:

第一种
利用 worker_init_fn 每个线程重新设置种子,示例代码如下:

第二种
在文件开头加上下面两行设置:

11 使用 PyCharm 行调试 PyTorch 项目时遇到 "KeyboardInterrupt"

如果只是 Debug 而不是 Run 的时候出现,此类问题是由于在 PyCharm 中开启了调试子线程的功能,在 File->Settings->Building, Execution, Deployment->Python Debugger 中,将 Attach to subprocess automatically while debugging关闭即可。如图所示:

12 修正 RuntimeError: CUDA error: no kernel image is available for execution on the device 错误

如果在运行 PyTorch 时出现这一次错误,一个可能的原因是你的显卡已经不被高版本的 PyTorch 所支持。
比如在最近的更新中 PyTorch 1.3.1 及以后版本的显卡支持已经升级为 Compute Capability >= 3.7,完整的各种设备支持的 Compute Capability 列表如下:
https://developer.nvidia.com/cuda-gpus

GPUCompute Capability
NVIDIA TITAN RTX7.5
Geforce RTX 2080 Ti7.5
Geforce RTX 20807.5
Geforce RTX 20707.5
Geforce RTX 20607.5
NVIDIA TITAN V7
NVIDIA TITAN Xp6.1
NVIDIA TITAN X6.1
GeForce GTX 1080 Ti6.1
GeForce GTX 10806.1
GeForce GTX 10706.1
GeForce GTX 10606.1
GeForce GTX 10506.1
GeForce GTX TITAN X5.2
GeForce GTX TITAN Z3.5
GeForce GTX TITAN Black3.5
GeForce GTX TITAN3.5
GeForce GTX 980 Ti5.2
GeForce GTX 9805.2
GeForce GTX 9705.2
GeForce GTX 9605.2
GeForce GTX 9505.2
GeForce GTX 780 Ti3.5
GeForce GTX 7803.5
GeForce GTX 7703
GeForce GTX 7603
GeForce GTX 750 Ti5
GeForce GTX 7505
GeForce GTX 6903
GeForce GTX 6803
GeForce GTX 6703
GeForce GTX 660 Ti3
GeForce GTX 6603
GeForce GTX 650 Ti BOOST3
GeForce GTX 650 Ti3
GeForce GTX 6503
GeForce GTX 560 Ti2.1
GeForce GTX 550 Ti2.1
GeForce GTX 4602.1
GeForce GTS 4502.1
GeForce GTS 450*2.1
GeForce GTX 5902
GeForce GTX 5802
GeForce GTX 5702
GeForce GTX 4802
GeForce GTX 4702
GeForce GTX 4652
GeForce GT 7403
GeForce GT 7303.5
GeForce GT 730 DDR3,128bit2.1
GeForce GT 7203.5
GeForce GT 705*3.5
GeForce GT 640 (GDDR5)3.5
GeForce GT 640 (GDDR3)2.1
GeForce GT 6302.1
GeForce GT 6202.1
GeForce GT 6102.1
GeForce GT 5202.1
GeForce GT 4402.1
GeForce GT 440*2.1
GeForce GT 4302.1
GeForce GT 430*2.1

解决方法有两种:
1)最简单的解决方法是降级成早期版本,比如 Pytorch 1.2:

参见:
https://pytorch.org/get-started/previous-versions/

2)如果一定要使用新版,则需要使用从 Source Build 的方式安装:
https://github.com/pytorch/pytorch#from-source

13 注意:使用 DataParallel 训练时只有 Tensor 被拆分到不同 GPU上

这是一个常见的容易忽略的问题,比如你的数据中有一部分使用了 Tensor 有一部分使用了 list 等其他数据类型时,PyTorch 在 DataParallel 中只能自动将 Tensor 类型的数据进行拆分,这一点官网解释得很清楚:

Arbitrary positional and keyword inputs are allowed to be passed into DataParallel but some types are specially handled. tensors will be scattered on dim specified (default 0). tuple, list and dict types will be shallow copied. The other types will be shared among different threads and can be corrupted if written to in the model’s forward pass.
参见 https://pytorch.org/docs/master/generated/torch.nn.DataParallel.html

因此对于需要进行并行化拆分到不同 GPU 的数据,其类型都应该是 Tensor 类型。但如果由于某些原因(比如变长),你就只能使用 list 等类型怎么办呢?一个可以尝试的方法是在数据生成时候增加一个 index 的 Tensor 例如在 Dataset 中增加:

这样在 GPU 切片时 indexes 也被相应切片。比如你获得的数据中有一个 list 类型的变量 all_matches,那么你就可以这样获取当前 GPU 切片对应的 all_matches 数据了:

14 修正 DistributedDataParallel 遇到不均衡输入时出现卡死问题

在使用 DistributedDataParallel 时,如果因为种种原因造成每个 Node 获得的数据大小不同,可能会出现卡死问题。比如下面的代码就是一个很简单的复现问题:

运行这段代码正常情况下会出现一直卡住无法结束的问题。

解决方法也很简单,在 PyTorch 1.7.0 及以上版本中增加了 module.join() 接口,可以使用 with modle.join(): 一行代码即可:

参考 [8]、[9]

15 RuntimeError: unable to write to file

如果运行时报出如下错误:

由于 PyTorch 默认将共享文件保存在 /torch_xxx 目录中,如果磁盘空间不足很可能出现上述错误,一个解决方法是关闭 shared_memory,在运行的训练文件头部增加:

参考 [10]

参考文献

[1] https://blog.csdn.net/weixin_41278720/article/details/80778640
[2] https://discuss.pytorch.org/t/getting-nan-after-first-iteration-with-custom-loss/25929/14
[3] https://zllrunning.github.io/2018/03/24/20180324/
[4] https://github.com/MVIG-SJTU/AlphaPose/issues/402
[5] https://github.com/pytorch/pytorch/issues/5059
[6] https://blog.csdn.net/Nin7a/article/details/104138036
[7] https://blog.csdn.net/sinat_33425327/article/details/84823272
[8] https://gist.github.com/rohan-varma/3906e7f07669f0177801a9f753848550
[9] https://github.com/pytorch/pytorch/issues/38174
[10] https://blog.csdn.net/u012796629/article/details/105936386

Add a Comment

Your email address will not be published.