神经网络概述、单层感知器

神经网络种类

神经网络发展过程

神经网络的发展史

单层感知器

注：权向量就是权重的值，是一个数值，不是向量；偏置因子b是单个神经元内部自带的信号， 不是由外部传入的；

注：该单层感知器一定有输出(-1，1，0)，而不是超过阈值才产生输出；

注：上图中的w0相当于偏置b，x0则恒等于1，这样表示有助于计算；

注：r表示残差，表示直值或叫期望值，表示预测值，即输入通过神经网络后输出的值；权值向量W和输入向量X都是列向量，表示第j个权值乘以输入矩阵X；

注2：新建的神经网络里，每个神经元的权重向量W的值是随机分配的，训练神经网络的过程就是通过输入的数据X不断迭代，更新权重值W的过程；每次迭代后，会产生一个权重W的增量，然后用该值更新权重W，继续迭代直到收敛；

注3：的解释，直值的预测结果为1或-1，预测值的结果也为1或-1，权值的增量不能为0，因此为；

网络优化-线性神经网络，delta学习规则，梯度下降法

注：残差与单层感知器相比，少了一个符号函数，因此残差r的值可以是任意值，而不像单层感知器那样是固定的三个值(-2 , 0 , 2)；

注：分类问题时，输出结果还是用的符号函数sign；

注：模型训练的目标是让损失函数E最小；表示E的梯度，即E的一阶导数；损失函数里的1/2，是人为添加的，目的是对W求导时，可以约掉平方上的2；LMS学习规则可以看成是Delta的特殊形式，y=x求导时，y=1，因此就等于；

以下为要使用误差E最小，应与误差的负梯度成正比的解释：

注：损失函数E是自变量W的函数，要使得E最小，就要找到E的一阶导，即梯度的最低点对应的W，沿着负梯度的方向迭代时，函数的值局部下降最快；