Earyant的技术博客

预训练语言模性-可解释性

发表于 2022-03-12
本文字数： 3.7k 阅读时长 ≈ 3 分钟

• BERT 可解释性
  • 分析可解释性的一些常见方法
  • What does BERT Learn from Multiple-Choice Reading Comprehension Datasets[1]
    • 1. Un-Readable Data Attack
    • 2. Un-Answerable Data Training
  • What does BERT learn about the structure of language[2]
    • 1. Phrasal Syntax
    • 2. 探测任务(Probing Tasks)
    • 3. Subject-Verb Agreement
    • 4. Compositional Structure
  • Open Sesame: Getting Inside BERT’s Linguistic Knowledge
  • BERT vs ELMO vs Flair [9]
  • BERT vs ELMO vs GPT-2
  • BERT Attention 学到了什么
  • A Primer in BERTology: What we know about how BERT works
  • Reference

阅读全文 »

预训练语言模性-多任务学习

发表于 2022-03-12
本文字数： 269 阅读时长 ≈ 1 分钟

• 预训练语言模型 - 多任务学习
  • 经验
  • Reference

阅读全文 »

预训练语言模性-多语言

发表于 2022-03-12
本文字数： 20 阅读时长 ≈ 1 分钟

• 多语言预训练语言模型

阅读全文 »

预训练语言模性-对话

发表于 2022-03-12
本文字数： 410 阅读时长 ≈ 1 分钟

• 预训练语言模型 - 对话
  • Reference

阅读全文 »

预训练语言模性-无监督向量

发表于 2022-03-12
本文字数： 68 阅读时长 ≈ 1 分钟

• 生成一个好的 bert 句向量
  • Reference

阅读全文 »

预训练语言模性-模型压缩

发表于 2022-03-12
本文字数： 3.2k 阅读时长 ≈ 3 分钟

• 从模型压缩角度看预训练语言模型
• ALBERT 的一些问题
  • ALBERT 的目的
  • 三大创新
    • 1. Factorized embedding parameterization
    • 2. Cross-layer parameter sharing
    • 3. SOP 替代 NSP
  • BERT vs ALBERT
    • 1. 从参数量级上看
    • 2. 从模型表现上看
  • Questions
  • Reference
  • Reference

阅读全文 »

预训练语言模性-自然语言生成

发表于 2022-03-12
本文字数： 542 阅读时长 ≈ 1 分钟

• 预训练语言模型 - 自然语言生成
  • MASS
    • 1. 语言模型思想
    • 2. MASS vs Bert
    • 3. MASS 与 GPT
    • 4. 为何 MASS 适合生成
    • 5. MASS 小结
  • UNILM
  • BART
  • Questions
  • mBART
  • PEGASUS
  • 最后
  • Reference

阅读全文 »

预训练语言模性-融入知识图谱

发表于 2022-03-12
本文字数： 4.3k 阅读时长 ≈ 4 分钟

• 预训练语言模型 - 融入知识图谱
  • 1. ERNIE - 百度
    • 1. 双向Transformer
    • 2. 不同粒度的信息融合
    • 3. Basic-Level Masking 预训练
    • 4. Phrase-level Masking 预训练
    • 5. Entity-level Masking 预训练
    • 6. 多源数据
    • 7. DLM：Dialogue Language Model
  • ERNIE: 清华 [2]
    • 1. 模型架构
    • 2. 模型输入
    • 3. T - Encoder
    • 4. TransE：encode 知识图谱
    • 5. K - Encoder
    • 6. dEA: denoising entity auto-encoder
    • 7. 其余
  • 3. K-BERT
  • Reference

阅读全文 »

信息检索

发表于 2022-03-12
本文字数： 85 阅读时长 ≈ 1 分钟

• 上游任务 — 信息检索

阅读全文 »

阅读理解

发表于 2022-03-12
本文字数： 7k 阅读时长 ≈ 6 分钟

• 上游任务 - 阅读理解
  • 1. Attentive Reader [1]
  • 2. Standford Reader[2]
  • 3. Attention Sum Reader [3]
  • 4. Attention-over-Attention [4]
  • 5. Gated-Attention Reader [5]
  • 6. BiDAF [6]
    • 核心点： 双向注意力机制
  • 7. DCN [7]
    • 核心： CoAttention Encoder
  • 8. QANet [8]
    • 核心点： 多维信息融合
    • Context-Query Attention Layer
  • Reference

阅读全文 »