分类模型 1 - 感知机

模型 - 感知机

---

• 感知机模型
• 感知器的训练
  • 1. 如何判断一个点被正确分类？
  • 2. 损失函数
  • 3. 求取 w， b

感知机模型

感知机可以拟合任何线性函数，这也就意味着任何线性分类或线性回归问题都可以用感知器来解决。

$$\begin{gathered} f(x)=sign(w^{T}x) \\ sign(a)=\{\begin{array}{ll}+1,& a\ge 0\\ -1,& a<0\end{array} \end{gathered}$$

感知器的训练

感知器的训练主要包含两大问题：

• 如何判断一个样本是不是被正确分类？

• 如何定义损失函数？

1. 如何判断一个点被正确分类？

误分类分为以下两种情况：

• 当 $w^T{x}_i>0$ 时，得出 $y_i=-1$ ， 此时出现误分类
• 当 $w^T{x}_i<0$ 时，得出 $y_i=1$ ，此时也出现误分类

那么，我们分析，对于误分类的数据 $(x_i,y_i)$ 来说，必有：

$$-y_i{w}^T{x}_i>0$$

那么，我们得出，我们可以通过 $-y_i{w}^T{x}_i>0$ 来得出一个点是不是误分类点。

2. 损失函数

感知机中采用的损失函数是误分类点到超平面 S 的总距离。

输入样本中的任意一点到超平面 S 的距离：

$$L=\frac{1}{||w||}|w^T{x}_i|,||w||\mathrm{是}w\mathrm{的}{L}_2\mathrm{范}\mathrm{数}$$

那么误分类点到超平面 S 的距离为：

$$-\frac{1}{||w||}{y}_i(w^T{x}_i)$$

$\frac{1}{||w||}$ 是一个固定值，可以不用考虑，这样我们也可以得出我们的损失函数如下：

$$L(w,b)=-\sum _{x_i\in M}{y}_i{w}^T{x}_i$$

3. 求取 w， b

损失函数对于 $w$ 方向上的梯度为：

$$\frac{\partial L}{\partial w}=-\sum _{x_i\in M}{y}_i{x}_i$$

那么随便给定一个误分类点 $(x_i,y_i)$， 对 w，b 的更新如下：

$$w\leftarrow w+\eta y_i{x}_i$$

---