ReLU 激活函数：ReLu使得网络可以自行引入稀疏性，在没做预训练情况下，以ReLu为激活的网络性能优于其它激活函数。数学表达式： $y = max(0,x)$第一，sigmoid的导数只有在0附近的时候有比较好的激活性，在正负饱和区的梯

ResNets要解决的是深度神经网络的“退化”问题。什么是“退化”？我们知道，对浅层网络逐渐叠加layers，模型在训练集和测试集上的性能会变好，因为模型复杂度更高了，表达能力更强了，可以对潜在的映射关系拟合得更好。而 “退化”指的是，给网

本篇文章第一部分翻译自：http:www.wildml.com201510recurrent-neural-networks-tutorial-part-3-backpropagation-through-time-and-vanishin

第二章 PyTorch基础2.1 为何选择PyTorchPyTorch是一个建立在Torch库之上的Python包，旨在加速深度学习应用。它提供一种类似Numpy的抽象方法来表征张量（或多维数组），可以利用GPU来加速训练。由于PyTorc