学习 UFLDL教程 “建立分类用深度网络”部分的笔记。
参考
自编码器+分类器
深度网络用大量未标注数据训练自编码器（常被称为预训练），自编码器的激活单元（即隐藏神经元）可表示数据的某种特征。然后将有标注数据输入自编码器，得到特征向量，以新的特征向量为输入训练分类器（例如softmax分类器）。训练完成后，可将自编码器和分类器结合成一个神经网络，利用有标注数据做微调。
深度网络的优势与困难
优势在于其强大的特征表示能力。
困难有梯度弥散问题，利用梯度下降法训练时，梯度随深度增加而减小，导致深层网络得不到有效训练。
栈式自编码算法
栈式自编码算法基于“逐层贪婪训练方法”，为解决梯度弥散等问题。在预训练自编码器时，采用逐层训练而非步到位。用原始数据作为训练数据训练第一层，之后从第一层得到原始数据的特征向量，以之作为训练数据训练第二层，又可得到新的特征向量以训练第三层…..