7.概率分布

• 概率分布
  • 分布一览
  • 1. 伯努利分布
  • 2. 二项分布
  • 3. Beta 分布

概率分布

分布一览

分布名称	分布公式	期望	方差
伯努利分布	$Bern(x|\mu) = \mu^x (1-\mu)^{1-x}$	$\mu$	$\mu(1-\mu)$
二项分布	$Bin(m|N,\mu)= \frac{N!}{(N-m)!m!} \mu^m (1-\mu)^{N-m}$	$N\mu$	$N\mu(1-\mu)$

1. 伯努利分布

• 伯努利试验： 随机试验，每次试验都只有两个结果 0 与 1， 则称为伯努利试验。

$$Bern(x|\mu) = \mu^x (1-\mu)^{1-x} \\ E(x) = \mu \\ var(x) = \mu(1-\mu)$$

假设存在一个$x$的观测值的数据集$D= {x_1,…x_N}$，假设每次观测都是独立从$Betn(x|\mu)$分布中抽取，那么可以构造关于$\mu$的似然函数：

$$p(D|\mu) = \prod_{n=1}^N p(x_n|\mu) = \prod_{n=1}^N \mu^{x_n}(1-\mu)^{1-x_n}$$

如果采用极大似然的方式来估计$\mu$的值，那么，对应的极大似然函数为：

$$lnp(D|\mu) = \sum_{n=1}^N ln p(x_n|\mu) = \sum_{n=1}^N \{x_n ln \mu + (1-x_n)ln(1-\mu)\}$$

令 $ln p(D|\mu)$ 关于$\mu$的导数等于 0，就得到极大似然的估计值：

$$\mu_{ML} = \frac{1}{N} \sum_{n=1}^Nx_n$$

2. 二项分布

• n重伯努利试验： 将伯努利试验独立重复进行 n 次， 称为 n 重伯努利试验。

• n 重伯努利试验中成功的总次数 X 服从二项分布：$X \sim B(N,\mu)$

$$Bin(m|N,\mu)= C_N^m \mu^m (1-\mu)^{N-m} = \frac{N!}{(N-m)!m!} \mu^m (1-\mu)^{N-m} \\ E(m) = \sum_{m=0}^N m Bin(m |N,\mu) = N\mu \\ var(m) = \sum_{m=0}^N(m - E)^2 Bin(m|N,\mu) = N\mu(1-\mu)$$

3. Beta 分布

$$Beta(\mu|a,b) = \frac{\Gamma (a + b)}{\Gamma(a) \Gamma(b)} \mu^{a-1}(1-\mu)^{b-1} \\ E(\mu) = \frac{a}{a+b} \\ var(\mu) = \frac{ab}{(a+b)^2(a+b+1)}$$