Paddlespeech报错:CUDNN error(14)
报错:
(External) CUDNN error(14), CUDNN_STATUS_VERSION_MISMATCH.
[Hint: Please search for the error code(14) on website (https://docs.nvidia.com/deeplearning/cudnn/api/index.html#cudnnStatus_t) to get Nvidia's official solution and advice about CUDNN Error.] (at /paddle/paddle/phi/kernels/gpu/rnn_kernel.cu.cc:396)
[operator < rnn > error]
环境:
Python 3.8(ubuntu18.04)
Cuda 11.2
cudnn 8.2.1
A100-PCIE-40GB(40GB)
10 vCPU Intel Xeon Processor (Skylake, IBRS)
PaddlePaddle v2.4.1
PaddleSpeech r1.4.1
原因
cuDNN与cudatoolkit版本没对应上
这个环境是上一篇博客镜像过来的,在 Tesla T4 上可以训练,但是到 A100 PCIE 上就报错了
解决方案
# mamba是用来加速conda索引的,同时能告诉你,你将要下载的依赖库有哪些冲突
conda install mamba
# 然后执行下面这一行命令。这是我错了好几次之后试出来的,这三个依赖的版本是严格对应的,如果有任意一个不匹配,mamba会给你列出来可以匹配的版本
mamba install paddlepaddle-gpu==2.4.2 cudatoolkit==11.2 cudnn==8.2.0.53 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/Paddle/