评估指标

• 各大任务的评价指标
  • 1. 语言模型 — Perplexity
  • 2. BLEU

各大任务的评价指标

---

1. 语言模型 — Perplexity

PPL 主要用于衡量语言模型的好坏，其根据每个词来估计一句话出现的概率， 并用句子长度做 Normalization。

$$PP(s) = P(w_1w_2,...w_N)^{-\frac{1}{N}} \\ PP(s) = 2 ^{-\frac{1}{N}} \sum log(P(w_i))$$

2. BLEU