对比学习

发表于 2022-03-12
本文字数： 71 阅读时长 ≈ 1 分钟

对比学习

Reference

对比学习（Contrastive Learning）综述

对比学习（Contrastive Learning）相关进展梳理

损失函数

发表于 2022-03-12
本文字数： 26 阅读时长 ≈ 1 分钟

• 损失函数
  • Focal loss

阅读全文 »

深度学习模型压缩

发表于 2022-03-12
本文字数： 148 阅读时长 ≈ 1 分钟

• 深度学习模型压缩 - 综述

阅读全文 »

深度学习项目流程

发表于 2022-03-12
本文字数： 479 阅读时长 ≈ 1 分钟

• 1. 定义问题
• 2. 探索和清洗数据
• 3. 选择模型并探索模型结果
• 4. 监控训练和验证误差
• 模型提升策略
  • 1. 数据角度
  • 2. 模型角度
  • 3. 调参角度
  • 4. 训练角度

阅读全文 »

网络模型-CNN经典网络

发表于 2022-03-12
本文字数： 452 阅读时长 ≈ 1 分钟

• Reference

阅读全文 »

自监督学习

发表于 2022-03-12
本文字数： 10 阅读时长 ≈ 1 分钟

• 自监督学习

阅读全文 »

调参-优化算法

发表于 2022-03-12
本文字数： 4.9k 阅读时长 ≈ 4 分钟

• 简介
• 超参数设置 — 遵循原论文
• 1. 三大基本算法
  • 1. 随机梯度下降
  • 2. 标准梯度下降
  • 3. mini-batch 梯度下降
  • 三者比较
• 2. 梯度下降算法的一点改进
  • 1. 动量梯度下降法
  • 2. Nesterov Accelerated Gradient
• 3. 自适应学习率优化算法
  • 0. 为何要自适应学习率？
  • 1. Adagrad
  • 2. Adadelta
  • 3. RMSprop
  • 4. Adam
  • 5. AdaMax
  • 6. Nadam
• 如何选择优化算法？
• QA
  • 1. 在mini-batch 中， batch size 会带来怎样的影响？
  • 2. 深度学习为什么不用二阶优化？
• Reference

阅读全文 »

调参-权重初始化

发表于 2022-03-12
本文字数： 3.4k 阅读时长 ≈ 3 分钟

• 前言
• 权重初始化为何如此重要？
• Xavier 初始化
• Kaiming 初始化
• 初始化方案
  • 1. 常量初始化
  • 2. 随机初始化
  • 2. 均匀分布初始化 - U(a,b)
  • 3. 高斯分布 - N(mean, std)
  • 4. 单位矩阵初始化
  • 5. Xavier 初始化
  • 6. Kaiming 初始化（MSRA初始化）
  • 7. 正交初始化
  • 8. 稀疏初始化
• QA
  • 1. 推导一下 Xavier 的过程
    • 单层网络
    • 前向传播
    • 反向传播
• 适用范围
• Reference

阅读全文 »

调参-激活函数

发表于 2022-03-12
本文字数： 2.3k 阅读时长 ≈ 2 分钟

• 前言
• 1. 激活函数的性质
• 2. 激活函数一览 — TODO
  • 1. sigmoid
  • 2. tanh
  • 3. Relu
• 3. 如何选择激活函数
• Relu 的优点
• 激活函数的稀疏激活性
• QA
• 0. Dead Relu 问题
  • 1. Relu VS Sigmoid VS tanh
  • 2. 为什么Relu 不是全程可微也能用于基于梯度的学习？
  • 3. 为何加入非线性因素能够加强网络的表示能力？
  • 4. 为何 tanh 比 sigmoid 收敛快？

阅读全文 »

调参-超参数调优

发表于 2022-03-12
本文字数： 3.2k 阅读时长 ≈ 3 分钟

• 1. 超参数一览
  • 1. 超参数是什么？
  • 2. 网络结构参数
  • 2. 优化参数
  • 3. Trick 参数
• 2. 几个重要的超参数
  • 1. 学习率 — 最重要的超参数
  • 2. batch size
  • 3. dropout
  • 4. 优化器参数
• 超参数调优策略
  • 1. 网格搜索
  • 2. 随机搜索
  • 3. 贝叶斯优化
• QA
  • 1. 为何学习率那么重要？
  • 2. 卷积核尺寸为何都是奇数？
  • 3. 深层网络为何难以训练
  • 4. 神经网络为何要做深？
  • 5. 调节 batch_size 对训练效果影响如何？
  • 6. 合理增加 batch size 有何好处？
  • 7. 盲目增大 Batch_Size 有何坏处？

阅读全文 »