5 神经网络

5.1 感知机与多层网络

• 感知机无法解决非线性可分问题。

• 多层感知机：解决非线性可分问题，如多层前馈神经网络。

• 参考：神经网络

5.2 误差逆传播算法 BP

• 误差逆传播算法：最成功的训练多层前馈神经网络的学习算法。

• 多层前馈神经网络局限：容易过拟合

重要

缓解过拟合：

• 早停：训练误差降低，验证误差升高则停止训练。
• 正则化：误差目标函数增加一项描述网络复杂度的部分。

5.3 全局最小与局部最小

跳出局部最小的策略：

• 模拟退火技术：每一步都以一定概率接受比当前解更差的结果。
• 随机梯度下降：计算梯度时加入随机因素。
• 遗传算法：更好逼近全局最小。