集成学习-LightGBM

发表于 2022-03-12
本文字数： 13 阅读时长 ≈ 1 分钟

集成学习 - LightGBM

---

集成学习-XGBoost

发表于 2022-03-12
本文字数： 12 阅读时长 ≈ 1 分钟

集成学习 - XGBoost

---

特征工程-数据预处理

发表于 2022-03-12
本文字数： 465 阅读时长 ≈ 1 分钟

• 1. 数据清洗
  • 1. 样本采样
  • 2. 样本过滤

阅读全文 »

特征工程-特征工程

发表于 2022-03-12
本文字数： 3.1k 阅读时长 ≈ 3 分钟

• 1. 如何处理数据中的缺失值
  • 1. 缺失值较多
  • 2. 缺失值较少
• 2. 特征常见处理手段
  • 1.数值归一化
  • 2. 离散化
• 3. 共线性问题 — TODO
  • 1. 如何判定共线性问题？
  • 2. 如何消除共线性问题？
• 4. 如何进行特征选择？
  • 1. 特征分类
  • 2. 如何考虑特征选择
  • 3. 特征选择方法分类
  • 4. 特征选择目的
• 5. 关联规则
  • 1. 简介
  • 关联规则的三个度
    • 1. 支持度
    • 2. 置信度
    • 3. 提升度
• QA
  • 1. 判断规则的有效性
  • 2. 如果数据有问题，怎么处理?

阅读全文 »

Trick-Dropout

发表于 2022-03-12
本文字数： 1.4k 阅读时长 ≈ 1 分钟

• Trick - Dropout
  • 思想
  • QA
    • 1. 为何 Dropout 能够解决过拟合？
    • 2. Drpout 与 Bagging 有何不同？
    • 3. Dropout 有什么缺陷？

阅读全文 »

Trick-normalization

发表于 2022-03-12
本文字数： 3.9k 阅读时长 ≈ 4 分钟

• 0 . 归一化
  • 1. 归一化手段
  • 2. Min-max 与 Zero-mean 区别
  • 3. 为何归一化为何如此优秀？
• 1. Batch Normalization
• 2. Layer Normalization
• 3. Weight Normalization — TODO
• QA
  • 0. 什么是 ICS？
  • 0. ICS 会导致什么问题？
  • 1. BN 到底解决了什么问题？
  • 2. BN 的优点与缺点
  • 3. 为何训练时不采用移动平均？
  • 4. BN 与 LN 的区别是什么？
  • 5. 什么时候使用 BN 或 LN？
  • 6. BN 在何处做？
  • 7. 为什么要归一化？
• Reference

阅读全文 »

Trick-学习率衰减

发表于 2022-03-12
本文字数： 334 阅读时长 ≈ 1 分钟

• 为什么要进行学习率衰减？
• 学习率衰减策略

阅读全文 »

Trick-提前终止

发表于 2022-03-12
本文字数： 954 阅读时长 ≈ 1 分钟

• Early Stop, but when? [1]

阅读全文 »

Trick-正则化

发表于 2022-03-12
本文字数： 1.9k 阅读时长 ≈ 2 分钟

• 正则化
  • 1. L1 正则化 - 稀疏正则化
  • 2. L2 正则化 — 权重衰减
  • QA
    • 1. 为何只对权重进行正则惩罚，而不针对偏置
    • 2. 权重衰减的目的
    • 3. L1 与 L2 的异同
    • 4.为什么 L1 正则化 可以产生稀疏值，而 L2 不会？
    • 5. 为何 L1 和 L2 正则化可以防止过拟合？

阅读全文 »

Trick - 融合训练集，验证集，测试集

发表于 2022-03-12
本文字数： 19 阅读时长 ≈ 1 分钟

Trick - 融合训练集，验证集，测试集

---