尤其是深层网络。梯度爆炸倒是相对好解决，但梯度消失会直接导致学习过程停滞不前。”林枫沉思片刻，补充道，“这不仅是你们实验室的问题，也是整个领域的瓶颈。反向传播的基本原理决定了，当信号在网络中层层传递时，梯度的变化会以指数级缩小。”
马库斯脑海中泛起了大大的问号，梯度爆炸问题好解决吗？
他怎么觉得梯度爆炸问题也挺麻烦的？
不过聊天本来就是求同存异，既然林同样认为梯度消失难以解决就够了。
马库斯也没纠结为什么林说梯度爆炸容易解决，而是继续就梯度消失发表观点说道：“是啊，哪怕有了re（修正线性单元）激活函数的引入，虽然能在一定程度上减轻梯度消失，但对深层网络还是不够。”
林枫想了想，说道：“你们有考虑过改进网络结构吗？”