第1205章 两亿预算？！啥也别说了，忠橙！

    “当网络层数叠加到一定深度，会出现不可逆的梯度衰减、特征退化，浅层的有效特征，会在层层传递中不断丢失、失真、稀释，网络越深，学习能力反而越弱，准确率不升反降。”

    “基于这个问题，我才将接下来的课题定为深度网络在物理层面的衰减问题，希望能验证我的想法，尝试看看能不能用另一种方式解决这个问题。”

    陈星心中狂喜，就是这个！

    就是这个点！

    何凯明思考的问题，正是他以后名动天下的ReSNet残差网络诞生的前置思考。

    就像他说的一样，学术界普遍认为神经网络越深、层数越多，AI 越强，可现实却是网络叠深之后，出现梯度消失、梯度爆炸、性能退化越深、准确率反而越低，学不动。

    属于是越学越废。

    解决方式也正是何凯明提出来的，直接短路连接、残差跳跃，不用让每一层网络都必须 学完整新特征。

    说人话就是允许神经网络 偷懒、进行残缺学习，不需要每层都强行拟合，学不动的部分直接跳过、残差传递。

    当然，陈星也是一知半解，他也不会直接告诉何凯明所谓的残差网络，只是引导着问他：“那现在你有解决思路吗？”

    “有一点，但不多，因为我是刚从计算机视觉转到神经网络不久，还没有完整的构建自己的体系，只是一些粗略想法。”

    “比如我在想，既然层层传递会不断损耗特征、梯度会逐层消失，那我们未必一定要让每一层网络都强制学习全新的特征。”

    “如果我们搭建一条旁路直连通道，让原始特征可以跳过部分堆叠层，直接向后传递，让深层网络只需要学习前后的残差差异，是不是就能规避深度衰减的问题？”

    “不用层层拟合完整特征，只学增量偏差，剩余原始信息直接直通保留。”

    陈星心中再次确定。

    来了！

    没错，就是这个！

    这就是未来统治整个AI视觉、深度学习、自动驾驶领域的残差神经网络 ReSNet！

    别人还在头疼网络越深越废的行业难题，何凯明已经摸到了下一代A

第1205章 两亿预算？！啥也别说了，忠橙！-->>(第1/3页)，请点击下一页继续阅读。