头像

绿意写春秋

帅气的我简直无法用语言描述!

残差连接如何 “拯救” 消失的梯度:从数学到直觉

深层网络的梯度消失问题,本质是 “反向传播时,梯度信号经过多层后被严重削弱,导致浅层参数几乎无法更新”。残差连接通过一个精妙的设计,给梯度信号开辟了 “直达通道”,从根本上缓解了这个问题。先理解:梯度...
头像1天前
000