分类模型1-朴素贝叶斯

1. 基本概念

$P(X|Y) = \frac{P(X,Y)}{P(Y)}$

贝叶斯公式如下：

$P(Y|X) = \frac{P(X|Y) P(Y)}{P(X)} \\$

P(Y) 叫做先验概率，意思是事件X发生之前，我们对事件Y发生的一个概率的判断

P(Y|X) 叫做后验概率，意思是时间X发生之后，我们对事件Y发生的一个概率的重新评估

P(Y,X) 叫做联合概率，意思是事件X与事件Y同时发生的概率。

$P(x|c) = p(x_1, x_2, \cdots x_n | c) = \prod_{i=1}^Np(x_i | c)$

朴素贝叶斯采用条件独立假设的动机在于： 简化运算。

朴素贝叶斯 = 贝叶斯方法 + 条件独立假设。

在机器学习中，我们可以将 X 理解为“具有某特征”，而 Y 理解为“类别标签”，于是有：

$P("属于某类“ \, \, | \, \, "具有某特征" ) = \frac{P("具有某特征" | "属于某类") P("属于某类")}{P("具有某特征" )}$

而贝叶斯派目的是要对 Y 进行优化：

$\begin{align} Y_{MAP} &= argmax_y P(Y|X) \\ &= argmax_y \frac{P(X,Y)}{P(X)} \\ &= argmax_y P(Y) P(X|Y) \end{align}$

多项式模型适用于离散特征情况，在文本领域应用广泛，其基本思想是：我们将重复的词语视为其出现多次。

高斯模型适合连续特征情况，我们先给出高斯公式：

$P(x_{i}|y_{k}) = \frac{1}{\sqrt{2\pi\sigma_{y_{k}}^{2}}}exp( -\frac{(x_{i}-\mu_{y_{k}})^2} {2\sigma_{y_{k}}^{2}} )$

伯努利模型适用于离散特征情况，它将重复的词语都视为只出现一次。
$P( " 代开“， ”发票“， ”发票“， ”我“ | S) = P("代开" | S) P( ”发票“ | S) P("我" | S)$
我们看到，”发票“出现了两次，但是我们只将其算作一次。

朴素贝叶斯的朴素性体现在该算法基于一个简单的假设： 所有的变量都是相互独立的，用贝叶斯公式表达如下：

$P(Y|X_1, X_2) = \frac{P(X_1|Y) P(X_2|Y) P(Y)}{P(X_1)P(X_2)}$

而在很多情况下，所有变量几乎不可能满足两两之间的条件。

问题： 如下，A1,A2,A3是三个特征，Y是分类结果。

P(Y=0) = 3/5
P(Y=1) = 2/5
P(Y=0|A1=1,A2=0,A3=0) = 3/5 * 1/3 * 2/3 * 1/3 = 2/45
P(Y=1|A1=1,A2=0,A3=0) = 2/5 * 1/2 * 1/4 * 1/2 = 1/40

答案是 拉普拉斯平滑。

朴素贝叶斯是生成模型，根据已有样本进行贝叶斯估计学习出先验概率 P(Y) 和条件概率 P(X|Y)，进而求出联合分布概率 P(XY)，最后利用贝叶斯定理求解P(Y|X)，而LR是判别模型，根据极大化对数似然函数直接求出条件概率 P(Y|X)
朴素贝叶斯是基于很强的条件独立假设（在已知分类Y的条件下，各个特征变量取值是相互独立的），而 LR 则对此没有要求
朴素贝叶斯适用于数据集少的情景，而LR适用于大规模数据集。