慢慢总结一些基础算法（一）

[TOC]

详见：【如何用简单易懂的例子解释条件随机场（CRF）模型？它和HMM有什么区别？ - Scofield的回答 - 知乎】

1.贝叶斯 Bayes

• 贝叶斯定理：（英语：Bayes’ theorem）是概率论中的一个定理，描述在已知一些条件下，某事件的发生概率。比如，如果已知某癌症与寿命有关，使用贝叶斯定理则可以通过得知某人年龄，来更加准确地计算出他罹患癌症的概率。

• 公式：

  $P(A|B)=\frac{P(B|A)P(B)}{P(B)}$

  其中$P(A|B)$表示已知B发生的情况下，然后A再发生的概率

  • 是已知发生后，的条件概率。也由于得自的取值而被称作的后验概率。
  • 是的先验概率（或边缘概率）。之所以称为"先验"是因为它不考虑任何方面的因素。
  • 是已知发生后，的条件概率。也由于得自的取值而被称作的后验概率。
  • 是的先验概率。
  • 根据条件概率的定义。在事件B发生的条件下事件A发生的概率是：

  

  ​ 其中 $A$与$B$的联合概率表示为或者或者。

  ​ 同样地，在事件A发生的条件下事件B发生的概率

  

  ​ 整理与合并这两个方程式，我们可以得到

  

  ​ 这个引理有时称作概率乘法规则。上式两边同除以P(B)，若P(B)是非零的，我们可以得到贝叶斯定理:

  

• 贝叶斯公式：

  P(B_i|A）=\frac{P(B_i)P(A|B_i)}{\sum_i [P(B_i)P(A|B_i)]}

  上式即为贝叶斯公式（Bayes formula)，$B_i$ 常被视为导致试验结果A发生的”原因“，$P(B_i)\quad{}_{(i=1,2,…)}$表示各种原因发生的可能性大小，故称先验概率；$P(B_i|A)\quad {}_{(i=1,2…)}$则反映当试验产生了结果A之后，再对各种原因概率的新认识，故称后验概率。

• 举例：

  报台分别以概率0.6和0.4发出信号“∪”和“—”。由于通信系统受到干扰，当发出信号“∪”时，收报台分别以概率0.8和0.2受到信号“∪”和“—”；又当发出信号“—”时，收报台分别以概率0.9和0.1收到信号“—”和“∪”。求当收报台收到信号“∪”时，发报台确系发出“∪”的概率。

  ​ 解：

  P(B_1|A）=\frac{P(B_1)P(A|B_1)}{P(B_1)P(A|B_1)+P(B_2)P(A|B_2)}= \frac{(0.6*0.8)}{(0.6*0.8+0.4*0.1)}=0.923

2.条件随机场 CRF

3. 遗传算法 EM

4.高斯混合模型 GMM

5.隐马尔科夫 HMM

6.极大似然估计 MLE

7.上采样与下采样

8.图卷积网络

9.多层感知机MLP