过拟合和Hopfield神经网络

拟合

注：欠拟合是指模型只学到了训练数据的部分特征，需要继续学习的状态；过拟合是指模型学到了只属于训练数据，而不属于通用数据的特征，具体表现为测试误差远大于训练误差；

注：Dropout方法是指每次迭代时，让隐藏层的一部分神经元处于不激活的状态，下一次迭代时，再换另一部分处于不激活状态，从而防止过拟合；

加入正则项后，训练模型时，正则项会让神网络中部分神经元的权值趋近于0，这部分趋近于0的神经元可以看成是处于不激活的状态，如下图：(白色的神经元都是权值趋近于0，可以看成是处于没激活状态下的神经元)

多层神经网络解决较为复杂的数据示例：

http://playground.tensorflow.org

Hopfield神经网络

注：Hopfield神经网络是反馈神经网络，即该神经网络中的每个神经元的输出都是除自身外，其它所有神经元的输入；Hopfield神经网络中的T表示阈值，该值类似于BP神经网络中的偏置值；；

注2：Hopfield神经网络不是分层的网络，其整个网络中所有的神经元是构成网络的一个整体；

反馈神经网络

注：中t表示迭代的次数；下面的异步和同步是Hopfield神经网络的两种工作方式；异步工作方式中，如果i不等于j，则神经元的状态还是上一个状态；一般情况下会使用异步的工作方式；

注：Hopfield神经网络中，如我们设置了一个吸引子是一张1的图片，此时，如果有另一张手写的和我们设置的不一样的1的图片进入网络后，通过迭代，Hopfield神经网络会将手写的图片变成吸引子里的那张1的图片一样的图片；

DHNN网络演化过程示例

注：上面的示例中，吸引子所在的状态是能量函数最低的状态；

Hopfield网络权值设计

Hopfield网络的三种状态和联想能力

注：上图中，右下角是S和E这两张图片是Hopfield网络中的一个吸引子，左上角的两张图片是输入的原始图片，其它的是输入图片在Hopfield网络中迭代的一个过程(迭代过程是按行表示的)；另外，要注意的是，输入的结果也有可能收敛到伪吸引子上；