Earyant的技术博客

预训练语言模性-多语言

发表于 2022-03-12
本文字数： 20 阅读时长 ≈ 1 分钟

• 多语言预训练语言模型

阅读全文 »

预训练语言模性-对话

发表于 2022-03-12
本文字数： 410 阅读时长 ≈ 1 分钟

• 预训练语言模型 - 对话
  • Reference

阅读全文 »

预训练语言模性-无监督向量

发表于 2022-03-12
本文字数： 68 阅读时长 ≈ 1 分钟

• 生成一个好的 bert 句向量
  • Reference

阅读全文 »

预训练语言模性-模型压缩

发表于 2022-03-12
本文字数： 3.2k 阅读时长 ≈ 3 分钟

• 从模型压缩角度看预训练语言模型
• ALBERT 的一些问题
  • ALBERT 的目的
  • 三大创新
    • 1. Factorized embedding parameterization
    • 2. Cross-layer parameter sharing
    • 3. SOP 替代 NSP
  • BERT vs ALBERT
    • 1. 从参数量级上看
    • 2. 从模型表现上看
  • Questions
  • Reference
  • Reference

阅读全文 »

预训练语言模性-自然语言生成

发表于 2022-03-12
本文字数： 542 阅读时长 ≈ 1 分钟

• 预训练语言模型 - 自然语言生成
  • MASS
    • 1. 语言模型思想
    • 2. MASS vs Bert
    • 3. MASS 与 GPT
    • 4. 为何 MASS 适合生成
    • 5. MASS 小结
  • UNILM
  • BART
  • Questions
  • mBART
  • PEGASUS
  • 最后
  • Reference

阅读全文 »

预训练语言模性-融入知识图谱

发表于 2022-03-12
本文字数： 4.3k 阅读时长 ≈ 4 分钟

• 预训练语言模型 - 融入知识图谱
  • 1. ERNIE - 百度
    • 1. 双向Transformer
    • 2. 不同粒度的信息融合
    • 3. Basic-Level Masking 预训练
    • 4. Phrase-level Masking 预训练
    • 5. Entity-level Masking 预训练
    • 6. 多源数据
    • 7. DLM：Dialogue Language Model
  • ERNIE: 清华 [2]
    • 1. 模型架构
    • 2. 模型输入
    • 3. T - Encoder
    • 4. TransE：encode 知识图谱
    • 5. K - Encoder
    • 6. dEA: denoising entity auto-encoder
    • 7. 其余
  • 3. K-BERT
  • Reference

阅读全文 »

信息检索

发表于 2022-03-12
本文字数： 85 阅读时长 ≈ 1 分钟

• 上游任务 — 信息检索

阅读全文 »

阅读理解

发表于 2022-03-12
本文字数： 7k 阅读时长 ≈ 6 分钟

• 上游任务 - 阅读理解
  • 1. Attentive Reader [1]
  • 2. Standford Reader[2]
  • 3. Attention Sum Reader [3]
  • 4. Attention-over-Attention [4]
  • 5. Gated-Attention Reader [5]
  • 6. BiDAF [6]
    • 核心点： 双向注意力机制
  • 7. DCN [7]
    • 核心： CoAttention Encoder
  • 8. QANet [8]
    • 核心点： 多维信息融合
    • Context-Query Attention Layer
  • Reference

阅读全文 »

数据集综述

发表于 2022-03-12
本文字数： 9.3k 阅读时长 ≈ 8 分钟

• 阅读理解数据集综述
  • 1. 阅读理解任务定义
  • 2. 阅读理解任务类型
  • 3. 阅读理解任务的评估方式
  • 4. 现有数据集分类
    • 1. 填空式阅读理解
    • 2. 抽取式阅读理解
    • 3. 多选式阅读理解
    • 4. 生成式阅读理解
    • 5. 其他
  • 最后
  • Reference
    • 1. 博客参考
    • 2. 填空式阅读理解
    • 3. 抽取式阅读理解
    • 3. 多选式阅读理解
    • 其他

阅读全文 »

自然语言推理

发表于 2022-03-12
本文字数： 22 阅读时长 ≈ 1 分钟

• 上游任务 - 自然语言推理

阅读全文 »