ReLU 激活函数：ReLu使得网络可以自行引入稀疏性，在没做预训练情况下，以ReLu为激活的网络性能优于其它激活函数。数学表达式： $y = max(0,x)$第一，sigmoid的导数只有在0附近的时候有比较好的激活性，在正负饱和区的梯

在之前已经介绍了卷积神经网络的基本原理，这一节主要介绍一下现代的现代卷积神经网络模型，包括AlexNet。它是第一个在大规模视觉竞赛中击败传统计算机视觉模型的大型神经网络；使用重复块的网络（VGG）。它利用许多重复的神经网络块；网络中的网络

机器学习：浅析从感知机到多层感知机概述异或问题前置从公式角度理解从图像角度解释：激活函数代码 概述通过前面的内容，我们深入剖析了单个感知机是如何运作的，如果想了解欢迎考古：感知机从理论到代码。 接下里，我们来探讨一下： 为什么感知机不能解