Trick-正则化

发表于 2022-03-12
本文字数： 1.9k 阅读时长 ≈ 2 分钟

• 正则化
  • 1. L1 正则化 - 稀疏正则化
  • 2. L2 正则化 — 权重衰减
  • QA
    • 1. 为何只对权重进行正则惩罚，而不针对偏置
    • 2. 权重衰减的目的
    • 3. L1 与 L2 的异同
    • 4.为什么 L1 正则化 可以产生稀疏值，而 L2 不会？
    • 5. 为何 L1 和 L2 正则化可以防止过拟合？

阅读全文 »

Trick - 融合训练集，验证集，测试集

发表于 2022-03-12
本文字数： 19 阅读时长 ≈ 1 分钟

Trick - 融合训练集，验证集，测试集

---

continual learning

发表于 2022-03-12
本文字数： 17 阅读时长 ≈ 1 分钟

continual learning

主动学习

发表于 2022-03-12
本文字数： 179 阅读时长 ≈ 1 分钟

• 主动学习

阅读全文 »

基本单元-CNN

发表于 2022-03-12
本文字数： 7k 阅读时长 ≈ 6 分钟

• 1. 卷积层
  • 1. 原理
  • 2. 卷积的作用
  • 3. 一些常见的卷积核
  • 4. 卷积核的参数
  • 5. 几种常见的卷积方式 -TODO
  • 6. 从 pytorch 看一维卷积，二维卷积，三维卷积
    • 参数说明
    • 一维卷积
    • 二维卷积
    • 三维卷积
  • 7. 卷积核的选择
• 2. 激活层
• 3. 池化层 — 需要补充
• 4. 卷积层与池化层比较
• 5. NLP 与 CV 中使用 CNN 的区别
• QA
  • 1. 为什么需要 Padding ？
  • 2. 为什么卷积核设计尺寸都是奇数
  • 3. 卷积操作的特点
  • 4. 你觉得 CNN 有什么不足？
  • 5. CNN 与 RNN 的优劣
  • 6. 卷积，池化的意义
  • 7. 卷积中不同零填充的影响
  • 8. 1 * 1 卷积的作用？
  • 9. 卷积核是否越大越好？
  • 10. 如何减少卷积层参数量？
  • 11. CNN 特点
  • 12. 为何较大的batch size 能够提高 CNN 的泛化能力？
  • 13. SAME 与 VALID 的区别
  • 14. CNN 优缺点

阅读全文 »

基本单元-NLP

发表于 2022-03-12
本文字数： 707 阅读时长 ≈ 1 分钟

• MLP
  • 1. 万能近似定理
  • 2.在深度神经网络中，非线性单元，放弃了训练问题的凸性，其意义何在？
  • 3. 如何解决非线性问题

阅读全文 »

基本单元-RNN

发表于 2022-03-12
本文字数： 2.4k 阅读时长 ≈ 2 分钟

• 基础相关
• QA
  • 1. RNN 中为何会出现梯度消失，梯度爆炸问题
  • 2. Relu 能否作为RNN的激活函数
  • 3. 推导 LSTM
  • 4. LSTM 长短记忆机制
  • 5. LSTM的门机制为何选择 sigmoid 作为激活函数？
  • 6. 融合信息时为何选择 tanh？
  • 7. 计算资源有限的情况下有没有什么优化方法？
  • 8. 推导一下 GRU
  • 9. LSTM 与 GRU 之间的关系
  • 10 为何RNN 会有梯度消失现象，推一下？
  • 11. LSTM 与 GRU 区别
  • 12. 为何 RNN 训练时 loss 波动很大
  • 13. LSTM 中的激活函数选择

阅读全文 »

基础理论-AUC计算

发表于 2022-03-12
本文字数： 10 阅读时长 ≈ 1 分钟

基础理论 - AUC 计算

---

基础理论-SoftMax

发表于 2022-03-12
本文字数： 332 阅读时长 ≈ 1 分钟

• 基础理论 - Softmax
  • 1. Softmax 定义
  • 2. Softmax 损失
  • QA
    • 1. 为何一般选择 softmax 为多分类的输出层

阅读全文 »

基础理论-偏差 VS 方差、欠拟合 VS 过拟合

发表于 2022-03-12
本文字数： 1.5k 阅读时长 ≈ 1 分钟

• 定义
• 理解概念
• 四种情况
• 偏差与欠拟合，方差与过拟合
• 如何降低偏差（欠拟合）
• 如何降低方差（过拟合）

阅读全文 »