Earyant的技术博客

一文缕清预训练语言模性发展脉络

发表于 2022-03-12
本文字数： 6.7k 阅读时长 ≈ 6 分钟

• 一文滤清预训练语言模型发展脉络
  • 前言
  • 1. BERT 之前
    • 1.1 从 Word Embedding 到 ELMO
    • 1.2 Fine-tuning pretraining： GPT 的诞生
    • 4. 预训练新时代：BERT
  • 2. BERT 之后
    • 1. 预训练 + 知识图谱
    • 2. 预训练 + 自然语言生成
    • 3. 预训练 + 多任务学习
    • 4. 改进语言模型
    • 5. 预训练 + 中文领域
    • 6. 预训练 + 精细调参
    • 7. 预训练+ 基础单元
  • 最后
  • Reference
    • 1. AR 与 AE 语言模型
  • BERT 诞生之前
  • GPT 系列
  • BERT 系列
  • 多任务学习
  • 中文领域
  • 融入知识
  • 多语言
  • 模型压缩
  • 文本生成

阅读全文 »

如何使用预训练模型

发表于 2022-03-12
本文字数： 1.8k 阅读时长 ≈ 2 分钟

• 如何使用预训练模型
• 0. 基础概念
• 1. 是否要进行微调[1]
• 2. 是否要进行再次预训练[2]
• 3. BERT 向量 vs Glove 向量
  • 1. 数据规模
    • 2. 语言特性
• Reference

阅读全文 »

如何更好的微调预训练语言模性

发表于 2022-03-12
本文字数： 46 阅读时长 ≈ 1 分钟

• 如何更好的微调预训练语言模型
  • Reference

阅读全文 »

如何更好的与训练一个BERT

发表于 2022-03-12
本文字数： 684 阅读时长 ≈ 1 分钟

• 如何更好的预训练一个BERT
  • Reference

阅读全文 »

预训练语言模性-BERT系列

发表于 2022-03-12
本文字数： 11k 阅读时长 ≈ 10 分钟

• BERT [1]
  • 1 Model Architecture
  • 2 Input Representation
  • 3. Pre-training Tasks
  • 4. Pre-training 训练细节
  • 5. BERT 结果
  • 6. 优点与缺点
• RoBERTa
  • 1. 训练数据比较：
  • 2. dynamic masking vs static mask
  • 3. 数据格式与NSP
  • 4. batch size - 大大大
  • 5. Text Encoding
  • 6. 训练细节
• 4. T5 [4]
  • 1. 数据才是正道 ：C4
  • 2. Text-to-Text： 模型归一
  • 3. 评测模型
  • 4. Baseline
  • 5. Architectures
    • 5.1 Attention mask 方式
    • 5.2 模型结构
  • 6. unsupervised objectives
    • 6.1 High-level approachs
    • 2. bert Mask 策略
  • 7. pre-training datasets
    • 7.1 预训练数据集的选择
    • 7.2 预训练数据集的大小
  • 8. fine-tune
  • 9. Multi-task learning
  • 10. Combining multi-task learning with fine-tuning
  • 11. scaling
  • 12. T5 模型： put it all together
• Questions
  • 1. 为什么 BERT 结果好于 ELMO
  • 2. 你觉得BERT 有哪些需要改进的地方
• Reference

阅读全文 »

预训练语言模性-ERNIE系列

发表于 2022-03-12
本文字数： 4.7k 阅读时长 ≈ 4 分钟

• 预训练语言模型 - ERNIE 系列
  • 前言
  • ERNIE 1.0
    • 1. 双向Transformer
    • 2. 不同粒度的信息融合
    • 3. Basic-Level Masking 预训练
    • 4. Phrase-level Masking 预训练
    • 5. Entity-level Masking 预训练
    • 6. 多源数据
    • 7. DLM：Dialogue Language Model
  • ERNIE 2.0
    • 1. sequential multi-task learning
    • 2. 模型架构
    • 3. Pre-training 任务: word-aware
    • 4. Pre-training 任务: Structure-aware
    • 5. Pre-training 任务: Semantic-aware
  • 6. 实验
  • ERNIE 3.0

阅读全文 »

预训练语言模性-GPT系列

发表于 2022-03-12
本文字数： 2.5k 阅读时长 ≈ 2 分钟

• 预训练语言模型 - GPT 系列
  • GPT 1.0 [1]
    • 1， 语言模型
    • 2， 单向Transformer
    • 3. 微调
  • GPT 2.0
    • 1. 语言模型
    • 2. 单向 transformer
    • 3. GPT 1.0 vs GPT 2.0 - 大就完事了
    • 4.如何适配下游任务 - zero shot
    • 5. 最大的转变 - 思想
    • 6. GPT 2.0 告诉了我们什么
  • GPT 3.0
    • 0. zero-shot,few-shot, fine-tuning
    • 1. 模型与语言模型
    • 2. 数据集
    • 3. GPT 3.0 的意义
    • 4. GPT 3.0 告诉了我们什么？
  • Questions
  • Reference

阅读全文 »

预训练语言模性-XLNet系列

发表于 2022-03-12
本文字数： 1.8k 阅读时长 ≈ 2 分钟

• 前言
• XLNet 为何如此之屌？
• Reference

阅读全文 »

预训练语言模性-可解释性

发表于 2022-03-12
本文字数： 3.7k 阅读时长 ≈ 3 分钟

• BERT 可解释性
  • 分析可解释性的一些常见方法
  • What does BERT Learn from Multiple-Choice Reading Comprehension Datasets[1]
    • 1. Un-Readable Data Attack
    • 2. Un-Answerable Data Training
  • What does BERT learn about the structure of language[2]
    • 1. Phrasal Syntax
    • 2. 探测任务(Probing Tasks)
    • 3. Subject-Verb Agreement
    • 4. Compositional Structure
  • Open Sesame: Getting Inside BERT’s Linguistic Knowledge
  • BERT vs ELMO vs Flair [9]
  • BERT vs ELMO vs GPT-2
  • BERT Attention 学到了什么
  • A Primer in BERTology: What we know about how BERT works
  • Reference

阅读全文 »

预训练语言模性-多任务学习

发表于 2022-03-12
本文字数： 269 阅读时长 ≈ 1 分钟

• 预训练语言模型 - 多任务学习
  • 经验
  • Reference

阅读全文 »