分类模型1-感知机

模型 - 感知机

---

• 感知机模型
• 感知器的训练
  • 1. 如何判断一个点被正确分类？
  • 2. 损失函数
  • 3. 求取w， b

感知机模型

感知机可以拟合任何线性函数，这也就意味着任何线性分类或线性回归问题都可以用感知器来解决。

$$f(x) = sign(w^Tx) \\ sign(a) = \begin{cases} +1, & a \ge 0 \\ -1, & a < 0 \end{cases}$$

感知器的训练

感知器的训练主要包含两大问题：

• 如何判断一个样本是不是被正确分类？

• 如何定义损失函数？

1. 如何判断一个点被正确分类？

误分类分为以下两种情况：

• 当$w^T x_i > 0 $ 时，得出$y_i = -1 $ ， 此时出现误分类
• 当$w^Tx_i < 0 $ 时，得出$ y_i = 1$ ，此时也出现误分类

那么，我们分析，对于误分类的数据$(x_i,y_i) $ 来说，必有：

$$- y_iw^T x_i > 0$$

那么，我们得出，我们可以通过 $- y_iw^Tx_i > 0$ 来得出一个点是不是误分类点。

2. 损失函数

感知机中采用的损失函数是误分类点到超平面S的总距离。

输入样本中的任意一点到超平面S的距离：

$$L = \frac{1}{||w||}|w^T x_i| , \qquad ||w||是w的L_2范数$$

那么误分类点到超平面 S 的距离为：

$$- \frac{1}{||w||}y_i(w^T x_i)$$

$\frac{1}{||w||}$ 是一个固定值，可以不用考虑，这样我们也可以得出我们的损失函数如下：

$$L(w,b) = - \sum_{x_i \in M }{y_i w^Tx_i }$$

3. 求取w， b

损失函数对于 $w$ 方向上的梯度为：

$$\frac{\partial {L}}{\partial{w}} = - \sum_{x_i \in M} y_i x_i$$

那么随便给定一个误分类点$(x_i, y_i)$， 对w，b的更新如下：

$$w \leftarrow w + \eta y_i x_i$$

---