分类模型1-逻辑回归

发表于 2022-03-12
本文字数： 3k 阅读时长 ≈ 3 分钟

• logistic回归简介
• Logistic 回归的数学表达
• 如何求解最优的 $\theta$
• 常见问题
  • 1. 逻辑回归与线性回归
  • 2. 推导一下 LR
  • 3. LR 如何实现多分类？
  • 4. LR 为何要对特征进行离散化
  • 5. 逻辑回归中，增大 L1 正则化会是什么结果

阅读全文 »

分类模型1-决策树

发表于 2022-03-12
本文字数： 2.7k 阅读时长 ≈ 2 分钟

• 简介
• 决策树三要素
• 1. 特征的选择
  • 1. ID3
  • 2. C4.5
  • 3. CART
• 2. 剪枝处理
  • 0. 剪枝的作用
  • 1. 预剪枝
  • 2. 后剪枝
• QA
  • 1. ID3, C4.5, CART 这三种决策树的区别
  • 2. 树形结构为何不需要归一化？
  • 3. 分类决策树与回归决策树的区别
  • 4. 为何信息增益会偏向多取值特征？

阅读全文 »

分类模型1-感知机

发表于 2022-03-12
本文字数： 749 阅读时长 ≈ 1 分钟

模型 - 感知机

---

• 感知机模型
• 感知器的训练
  • 1. 如何判断一个点被正确分类？
  • 2. 损失函数
  • 3. 求取w， b

阅读全文 »

分类模型1-朴素贝叶斯

发表于 2022-03-12
本文字数： 2k 阅读时长 ≈ 2 分钟

• 1. 基本概念
  • 1. 条件概率
  • 2. 先验概率
  • 3. 后验概率
• 2. 贝叶斯公式
• 3. 条件独立假设
• 4. 从机器学习视角理解朴素贝叶斯
• 朴素贝叶斯中的三种模型
  • 1. 多项式模型
  • 2. 高斯模型
  • 3. 伯努利模型
• QA
  • 1. 朴素贝叶斯为何朴素？
  • 2. 朴素贝叶斯分类中某个类别的概率为0怎么办？
  • 3. 朴素贝叶斯的要求是什么？
  • 4. 朴素贝叶斯的优缺点？
  • 5. 朴素贝叶斯与 LR 区别？

阅读全文 »

分类模型1-随机森林

发表于 2022-03-12
本文字数： 1.2k 阅读时长 ≈ 1 分钟

随机森林

---

• 1. Bagging
• 2. 随机森林
  • 1. 原理
  • 2. 影响因素
  • 3. 特征 m 的选择
• QA
  • 1. 随机森林的过拟合如何解决？
  • 2. 随机怎了如何处理缺失值？
  • 3. 什么是 OOB？

阅读全文 »

分类模型1-SVM

发表于 2022-03-12
本文字数： 1.8k 阅读时长 ≈ 2 分钟

• 简介
• 基础准备
  • 1. 线性可分
  • 2. 最大间隔超平面
  • 3. 什么是支持向量？
  • 4. SVM 能解决哪些问题？
  • 5. 支持向量机的分类
• 硬间隔 SVM
  • 0. 几何间隔与函数间隔
  • 1. SVM 最优化问题
  • 2. 对偶问题
    • 1. 拉格朗日乘数法 - 等式约束优化问题
    • 2. 拉格朗日乘数法 - 不等式约束优化问题
  • 3. 引入对偶问题 — TODO
  • 4. SVM 优化
  • 2. 软间隔SVM
• 3. Kernel SVM
  • 1. 思想
  • 2. 核函数的作用
  • 2. 常见核函数
• QA
  • 1. SVM 中的支持向量是什么意思？
  • 2. 什么是SVM ？
  • 3. SVM 为何采用间隔最大化？
  • 4. 为何要讲求解 SVM 的原始问题转换为其对偶问题？
  • 5. SVM 与 LR 的区别
  • 6. SVM如何处理多分类问题？
  • 5. SVM 软间隔与硬间隔表达式
  • 11. 核函数的种类和应用场景
  • 12. SVM 损失函数是什么？
  • 13. 核函数的作用是啥？
  • 14. SVM 为何能用对偶函数求解？
  • 15. SVM 和全部数据有关还是和局部数据有关?
  • 16. 为什么高斯核能够拟合无穷维度？
  • 17. LR 与 SVM 的区别？

阅读全文 »

回归模型1-线性回归

发表于 2022-03-12
本文字数： 4.8k 阅读时长 ≈ 4 分钟

• 1. 线性回归
  • 1. 简介
  • 2. 线性回归如何训练？
    • 1. 损失函数
    • 2. 正规方程
    • 3. 梯度下降法
    • 4. 两种方法的比较
• 2. 岭回归
  • 岭回归与线性回归
• 3. Lasso 回归
• 4. ElasticNet 回归
• LWR - 局部加权回归
• QA
  • 1. 最小二乘法估计
  • 2. 最小二乘法的几何解释
  • 3. 从概率角度看最小二乘法
  • 4. 推一下线性回归的反向传播
  • 5. 从贝叶斯角度看线性回归
  • 6. 什么时候使用岭回归 ？
  • 7. 什么时候使用 L1 正则化？

阅读全文 »

回归模型2-岭回归

发表于 2022-03-12
本文字数： 709 阅读时长 ≈ 1 分钟

• 岭回归
  • 简介
  • 岭回归与线性回归
  • QA
    • 1. 什么时候使用岭回归 ？

阅读全文 »

基础理论-SVM核方法

发表于 2022-03-12
本文字数： 67 阅读时长 ≈ 1 分钟

• 基础理论 - SVM 核方法
  • 核方法作用
  • 正定核

阅读全文 »

基础理论-判别模型 VS 生成模型

发表于 2022-03-12
本文字数： 1.1k 阅读时长 ≈ 1 分钟

• 监督学习模型
• 1. 判别模型
• 2. 生成模型
• 3. 判别模型 vs 生成模型
• QA
  • 1. 生成模型和判别模型基本形式，有哪些？

阅读全文 »