CNN 知识点

卷积神经网络(CNN)

1、 深度学习中极具代表性的网络结构之一,常用于图像处理,避免对图像复杂的特征提取,可直接输入原始图像;

2、 传统的神经网络都是采用输入层到隐藏层全连接的方式,这样导致参数量巨大;而CNN通过局部连接、权值共享方式连接来降低权值参数;

3、 局部连接:

全连接与局部连接

4、 权值共享:

权值共享

10*10个权值参数,也就是卷积核(也称滤波器)的大小。一个卷积核只能提取图像的一种特征,使用不同大小的卷积核可以得到图像的不同映射下的特征,称之为Feature Map。另外偏置参数也是共享的,同一种滤波器共享一个;

5、 卷积神经网络的核心思想是:局部感受野(local field),权值共享以及时间或者空间亚采样相结合,获取某种程度的位移、尺度、形变不变性;

6、 经典的CNN结构——LeNet-5网络

LeNet-5网络

CNN主要由两种类型的网络层,分别是卷积层和池化/采样层(pooling)。卷积层的作用是提取图像的各种特征;池化层是对原始特征信号进行抽象,从而大幅度减少训练参数,另外还可以减轻模型过拟合的程度。

卷积层:

卷积

池化/采样层:
通过不变性(平移、旋转、尺度)保留feature maps主要特征,同时减少特征。
通常有两种方式包括Max-Pooling(选择Pooling窗口中的最大值作为采样值)和Mean-Pooling(将Pooling窗口中的所有值相加取平均,以平均值作为采样值)

C1

S2

C3

S4

C5

F6

输出层

----------------------------- 我是有底线 ~..~ ------------------------------