25
经典卷积神经网络算法(2)：AlexNet
source link: http://www.cnblogs.com/chenhuabin/p/12854564.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
上文中实现了LeNet-5卷积网络，不可否认这是一个十分经典的网络结构，但是迫于种种复杂的现实场景限制，只能在一些领域应用，所以在接下来的10年间，卷积网络的锋芒一度被SVN算法覆盖，直到2012年AlexNet的提出。2012年Imagenet图像识别大赛中，Alext提出的AlexNet网络模型一鸣惊人，引爆了神经网络的应用热潮，并且赢得了2012届图像识别大赛的冠军，这也使得卷积神经网络真正意义上成为图像处理上的核心算法。AlexNet网络相比于之前的卷积网络模型有以下几点创新：
(1)使用relu作为激活函数。在上世纪末，神经网络大多还是使用sigmod或tanh作为激活函数，使用relu作为激活函数是AlexNet网络开创的先河。
(2)使用GPU并行运算。AlexNet使用两张GPU同时训练模型，大大加快了模型训练的速度。
(3)最大池化。在AlexNet出现以前，大多使用平均池化。
(4)dropout操作。随机杀死部分神经元，防止过拟合。
(5)数据增强。从原始图片中随机截取固定大小的子图，构建更大规模数据集。
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK