基础理论-分类问题评估指标

发表于 2022-03-12
本文字数： 5.3k 阅读时长 ≈ 5 分钟

• 几个定义：混淆矩阵
• 几个常规的指标
• F1-Score
• MCC ： 马修斯相关系数
• ROC 曲线
• AUC：Area under Curve
• P-R 曲线
• 最后
• Reference
• QA
  • 1. 训练集中类别不平衡，哪个参数最不准确？

阅读全文 »

基础理论-指数甲醛平均

发表于 2022-03-12
本文字数： 1k 阅读时长 ≈ 1 分钟

• 原理
• 偏差修正

阅读全文 »

基础理论-数据角度看深度学习

发表于 2022-03-12
本文字数： 2.2k 阅读时长 ≈ 2 分钟

• 1. 数据集定义
• 2. 数据集划分
  • 划分原则
  • 划分建议
  • 数据时分布
• 3. 数据不匹配问题
  • 1 如何定位数据不匹配?
  • 2 举例常见几个数据不匹配的场景?
  • 3 如何解决数据不匹配问题?
  • 4 如何提高深度学习系统的性能
• QA
  • 1. 数据为何要 shuffle ？

阅读全文 »

基础理论-梯度消失、梯度爆炸

发表于 2022-03-12
本文字数： 487 阅读时长 ≈ 1 分钟

• 1. 梯度消失，梯度爆炸产生原因
• 2. 解决方案
  • 1. 采用 Relu 系激活函数
  • 2. 合适的权重初始化
  • 3. 残差结构
  • 4. Batch Normalization， Layer Normalization
  • 5. LSTM
  • 6. 梯度裁剪 - 梯度爆炸

阅读全文 »

基础理论-目标函数、损失函数、代价函数

发表于 2022-03-12
本文字数： 3.2k 阅读时长 ≈ 3 分钟

• 1. 经验风险与结构风险
• 2. 损失函数，代价函数，目标函数
• 3. 常用的损失函数
  • 1 . 0-1 损失函数
  • 2. 绝对值损失函数
  • 3. 平方损失函数
  • 4. 对数损失函数
  • 5. 指数损失函数
  • 6. Hinge损失函数
• 4. 常用的代价函数
  • 1. 二次代价函数
  • 2. 交叉熵代价函数
  • 3. 对数似然函数代价函数
• QA
  • 1. Sigmoid 为何与交叉熵搭配二不用二次方代价函数
  • 2. sigmoid 为何要与交叉熵搭配
  • 1. Logistic 回归为何要使用对数损失函数？
  • 4.为什么交叉熵损失相比均方误差损失能提高以 sigmoid 和 softmax 作为激活函数的层的性能？
  • 5. 损失函数有哪些？ 怎么用？
• Reference

阅读全文 »

基础理论-维数灾难问题

发表于 2022-03-12
本文字数： 837 阅读时长 ≈ 1 分钟

• 维数灾难问题
  • 引言
  • 1. 维度再难会带来哪些问题？
  • 2. 如何解决维数灾难问题？

阅读全文 »

基础理论-距离度量方法

发表于 2022-03-12
本文字数： 949 阅读时长 ≈ 1 分钟

• 1. 欧式距离
• 2. 曼哈顿距离
• 3. 余弦距离
• 4. 切比雪夫距离
• QA
  • 1. 余弦相似度 与 欧式距离的区别与联系

阅读全文 »

基础理论-迁移学习

发表于 2022-03-12
本文字数： 9 阅读时长 ≈ 1 分钟

基础理论 - 迁移学习

---

基础理论-局部最小值，鞍点

发表于 2022-03-12
本文字数： 266 阅读时长 ≈ 1 分钟

• 局部最小值，鞍点
  • 基础原理
  • QA
    • 1. 如何避免陷入局部最小值与鞍点？

阅读全文 »

多任务学习

发表于 2022-03-12
本文字数： 131 阅读时长 ≈ 1 分钟

多任务学习

浅谈多任务学习（Multi-task Learning）： https://zhuanlan.zhihu.com/p/348873723

Refernence

An Overview of Multi-Task Learning in Deep Neural Networks