Earyant的技术博客

SIFRank

发表于 2022-03-12
本文字数： 918 阅读时长 ≈ 1 分钟

• SIFRank: A New Baseline for Unsupervised Keyphrase Extraction Based on Pre-trained Language Model
  • Abstract
  • Model Overview
    • Overall Structure
    • SIF
    • SIFRank

阅读全文 »

SIF

发表于 2022-03-12
本文字数： 731 阅读时长 ≈ 1 分钟

• SIF：a simple but tough to beat baseline for sentence embeddings
  • 模型解释

阅读全文 »

任务型对话

发表于 2022-03-12
本文字数： 63 阅读时长 ≈ 1 分钟

• Reference

阅读全文 »

开防阈对话

发表于 2022-03-12
本文字数： 210 阅读时长 ≈ 1 分钟

• Reference

阅读全文 »

模型蒸馏

发表于 2022-03-12
本文字数： 99 阅读时长 ≈ 1 分钟

• 知识蒸馏
  • Reference

阅读全文 »

Subword分词方法

发表于 2022-03-12
本文字数： 1.2k 阅读时长 ≈ 1 分钟

• Subword ，你值得拥有
  • 前言
  • BPE [2]
  • 中文分词 - BERT-wwm
  • Reference

阅读全文 »

模型压缩-综述

发表于 2022-03-12
本文字数： 270 阅读时长 ≈ 1 分钟

• 模型压缩 - 综述
  • Reference

阅读全文 »

中英文分词

发表于 2022-03-12
本文字数： 54 阅读时长 ≈ 1 分钟

• 分词
  • 1. 英文分词
  • 2. 中文分词
  • 3. 中英文混杂

阅读全文 »

Attention 机制 - 解释性

发表于 2022-03-12
本文字数： 175 阅读时长 ≈ 1 分钟

• Attention 机制 - 解释性
  • Refernece

阅读全文 »

Attention 机制 -- Transformer

发表于 2022-03-12
本文字数： 3.9k 阅读时长 ≈ 4 分钟

• Attention 机制 — Transformer
  • 推荐先看
  • 1. Scaled Dot-product Attention
  • 2. Muti-head Attention
  • 3. 残差网络，Normalization与feed-forward network
  • 4. Transformer 中如何使用 Multi-head Attention
  • 5. Positional encoding
  • 6. 最后的 Linear 与 Softmax
  • 回归到整体
  • QA
    • 1. Mask 三连问
      • mask 操作是什么？
      • 它是怎么做的？
      • 为什么要 mask ？
    • 2. Scaled Dot-product Attention 中的Scaled 是啥，有啥用？
    • 3. 为什么 Position embddding 采用正余弦函数 ？

阅读全文 »