深度学习概述

深度学习的演化

深度神经网络里的概念和术语

注：神经网络训练的目的是降低损失函数的值，因此学习率的高低并不影响网络模型的好坏，只影响损失函数收敛的速度；此外，当损失函数的值接近最优点时，如果学习率设置过大，会导致损失函数在最优点附近来回振荡；通常可以将学习率设置为变量，在训练开始时设置得大一点，然后随着模型的迭代，逐渐减小学习率；

注：防止过拟合的方法，除了正则化，还可以使用dropout和增加数据的方法来防止过拟合；

注：卷积网络示例：输入的图像为64*64的RGB图像，输入层的结构为64*64*3，即64*64的图像有3张(红绿蓝三种颜色的图片各一张)，卷积层C1有6个卷积和，采样的大小为4*4，则C1的结构为16*16*18，即16*16的图像有18张，卷积层C2有3个卷积和，采样的大小也为4*4，则C2的结构为4*4*54，即4*4的图像有54张；

注：如生成某一类型y的图像，可以假设该类型的图片本身x和图片类型y的是具有相同的联合分布的，通过学习已有的图片数据从而找出联合分布p(x , y)后，就可以通过该分布生成无限多的该类型图片；