Convolutional Neural Networks

使用全连接层的局限性：

图像在同一列邻近的像素在这个向量中可能相距较远。它们组成的模式可能难以被模型识别。

对付大尺寸的输入图像，使用全连接层容易导致模型过大。

使用卷积层的优势：

卷积层保存输入形状。

卷积层通过滑动窗口将同一卷积核与差别位置的输入反复计算，从而制止参数尺寸过大。

LeNet 模型

LeNet分为卷积层块和全连接层块两个部分。下面我们分袂介绍这两个模块。

卷积层块里的根基单位是卷积层后接平均池化层：卷积层用来识别图像里的空间模式，如线条和物体局部，之后的平均池化层则用来降低卷积层对位置的敏感性。

卷积层块由两个这样的根基单位反复堆叠组成。在卷积层块中，每个卷积层都使用

的窗口，并在输出上使用sigmoid激活函数。第一个卷积层输出通道数为6，第二个卷积层输出通道数则增加到16。

全连接层块含3个全连接层。它们的输出个数分袂是120、84和10，此中10为输出的类别个数。

下面我们通过Sequential类来实现LeNet模型。

#import import sys sys.path.append("/home/kesci/input") import d2lzh1981 as d2l import torch import torch.nn as nn import torch.optim as optim import time

#net class Flatten(torch.nn.Module): #展平操纵 def forward(self, x): return x.view(x.shape[0], -1) class Reshape(torch.nn.Module): #将图像巨细重定型 def forward(self, x): return x.view(-1,1,28,28) #(B x C x H x W) net = torch.nn.Sequential( #Lelet Reshape(), nn.Conv2d(in_channels=1, out_channels=6, kernel_size=5, padding=2), #b*1*28*28 =>b*6*28*28 nn.Sigmoid(), nn.AvgPool2d(kernel_size=2, stride=2), #b*6*28*28 =>b*6*14*14 nn.Conv2d(in_channels=6, out_channels=16, kernel_size=5), #b*6*14*14 =>b*16*10*10 nn.Sigmoid(), nn.AvgPool2d(kernel_size=2, stride=2), #b*16*10*10 => b*16*5*5 Flatten(), #b*16*5*5 => b*400 nn.Linear(in_features=16*5*5, out_features=120), nn.Sigmoid(), nn.Linear(120, 84), nn.Sigmoid(), nn.Linear(84, 10) )

接下来我们结构一个高和宽均为28的单通道数据样本，并逐层进行前向计算来检察每个层的输出形状。