6 支持向量机

6.1 间隔与支持向量

• 支持向量：距离超平面最近的几个训练样本使等号成立，它们被称为支持向量。

• 间隔：两个异类支持向量到超平面的距离之和为 $y=\frac{2}{||w||}$，它被称为间隔。

6.2 对偶问题

• 为了最大化间隔，需要最小化 $\frac{1}{2}\left|\right|w|{|}^2$。这是支持向量的基本型。

• 对基本型，使用拉格朗日乘子法得到其对偶问题，根据 KKT 条件求解。

6.3 核函数

• 训练样本在原始空间非线性可分，将其映射到高维空间，涉及高维内积的运算，使用核函数计算。

相关信息

常见核函数：

线性核、多项式核、高斯核、拉普拉斯核、sigmoid核。

6.4 软间隔与正则化

• 软间隔引入原因：现实中很难确定合适的核函数使得训练样本在特征空间线性可分，即使可分也很难断定是否是过拟合造成的。

• 基本思想：最大化间隔的同时，让不满足约束的点尽可能少。

• 在优化目标中添加一个 0/1 损失函数项。0/1 损失函数存在非凸、非连续，不易优化，可用替代损失函数。