3.1 神经网络剖析
- 训练神经网络主要围绕以下四个方面:层,多个层组合成网络(或模型);输入数据和相应的目标;损失函数,即用于学习的反馈信号;优化器,决定学习过程如何进行。
- 多个层链接在一起组成了网络,将输入数据映射为预测值。然后损失函数将这些预测值与目标进行比较,得到损失值,用于衡量网络预测值与预期结果的匹配程度。优化器使用这个损失值来更新网络的权重。
3.1.1 层:深度学习的基础组件
- 层是一个数据处理模块,将一个或多个输入张量转换为一个或多个输出张量。有些层是无状态的,但大多数的层是有状态的,即层的权重。权重是利用随机梯度下降学到的一个或多个张量,其中包含网络的知识。
- 不同的张量格式与不同的数据处理类型需要用到不同的层。例如,简单的向量数据保存在形状为(samples,features)的2D张量中,通常用密集连接层(densely connected layer)来处理。序列数据保存在形状为(samples, timesteps, features)的3D张量中,通常用循环层(recurrent layer,比如keras的LSTM层)来处理。图像数据保存在4D张量中,通常用二维卷积层(keras的Conv2D)来处理。
- 层兼容性(layer compatibility)具体指的是每一层只接受特定形状的输入张量,并返回特定形状的输出张量。
from keras import layers
layer = layers.Dense(32, input_shape=(784, ))
- 我们创建了一个层,只接受第一个维度大小为784的2D张量(第0轴是批量维度,其大小没有指定,因此可以任意取值)作为输入。这个层将返回一个张量,第一维度的大小变成了32。
- 因此,这个层后面只能连接一个接受32维向量作为输入的层。使用keras时,你无须担心兼容性,因为向模型中添加的层都会自动匹配输入层的形状。
from keras import models
from keras import layers
model = models.Sequential()
model.add(layers.Dense(32, input_shape=(784, )))
model.add(layers.Dense(32))
- 其中第二层没有输入形状(input_shape)的参数,相反,它可以自动推导出输入形状等于上一层的输出形状。
3.1.2 模型:层构成的网络
- 深度学习模型是层构成的有向无环图。最常见的例子就是层的线性堆叠,将单一输入映射为单一输出。
- 一些常见的网络拓扑结构如下:双分支(two-branch)网络、多头(multihead)网络、Inception模块。
- 网络的拓扑结构定义了一个假设空间(hypothesis space)。机器学习的定义:在预先定义好的可能性空间中,利用反馈信号的指引来寻找输入数据的有用表示。选定了网络拓扑结构,意味着将可能性空间(假设空间)限定为一系列特定的张量运算,将输入数据映射为输出数据。然后,你需要为这些张量运算的权重张量找到一组合适的值。
- 选择正确的网络架构更像是一门艺术而不是科学。虽然有一些最佳时间和原则,但只有动手时间才能让你成为合格的神经网络架构师。
3.1.3 损失函数与优化器:配置学习过程的关键
- 损失函数(目标函数):在训练过程中需要将其最小化。它能够衡量当前任务是否已成功完成。
- 优化器:决定如何基于损失函数对网络进行更新。它执行的是随机梯度下降(SGD)的某个变体。
- 具有多个输出的神经网络可能具有多个损失函数(每个输出对应一个损失函数)。但是,梯度下降过程必须基于当个标量损失值。因此,对于具有多个损失函数的网络,需要将所有损失函数取平均,变为一个标量值。
- 选择正确的目标函数对解决问题是非常重要的。网络的目的是使损失尽可能最小化,因此,如果目标函数与成功完成当前任务不完全相关,那么网络最终得到的结果可能会不符合你的预期。
- 对于二分类问题,你可以使用二元交叉熵(binary crossentropy)损失函数;对于多分类问题,可以用分类交叉熵(categorical crossentropy)损失函数;对于回归问题,可以用均方差(mean-squared error)损失函数;对于序列学习问题,可以用联结主义时序分类(CTC,connectionist temporal classification)损失函数;
3.2 keras简介
3.2.2 使用Keras开发:概述
- 典型的Keras工作流程:(1)定义训练数据:输入张量和目标张量。(2)定义层组成的网络(或模型),将输入映射到目标。(3)配置学习过程:选择损失函数、优化器和需要监控的指标。(4)调用模型的fit方法在训练数据上进行迭代。
- 定义模型有两种方法:一种是使用Sequential类(仅用于层的线性堆叠,这是目前最常见的网络架构),另一种是函数式API(functional API,用于层组成的有向无环图,让你可以构建任意形式的架构)。
from keras import models
from keras import layers
model = models.Sequential()
model.add(layers.Dense(32, activation='relu', input_shape=(784,)))
model.add(layers.Dense(10, activation='softmax'))
input_tensor = layers.Input(shape=(784, ))
x = layers.Dense(32, activation='relu')(input_tensor)
output_tensor = layers.Dense(10, activation='softmax')(x)
model = models.Model(inputs=input_tensor, outputs=output_tensor)
- 配置学习过程是在编译这一步,你需要指定模型使用的优化器和损失函数,以及训练过程中想要监控的指标。
from keras import optimizers
model.compile(optimizer = optimizer.RMSprop(lr=0.001), loss='mse', metrics=['accuracy'])
- 最后,学习过程就是通过fit()方法将输入数据的Numpy数组(和对应的目标数据)传入模型,这一做法与Scikit-Learn及其他机器学习库类似。