21天实战Caffe：第二天

第二天：深度学习的过往

1.传统机器学习的局限性

传统的深度学习需要人工设计特征提取器

2.从表示学习到深度学习

表示学习：直接以原始数据形式提供给机器输入，自动发现用于检测和分类的傲视方式。

深度学习：多层次表示学习分方法，那个简单的非线性的模块构建而成。

3.监督学习

• 随机梯度下降
• 线性分类器
• 特征提取器
• 一个深度学习架构是将简单模块多层堆叠，大多数模块具备学习能力，能计算非线性输入-输出映射

4.反向传播算法

• 导数链式法则
• 双隐层深度前馈网络

5.卷积神经网络、

局部互联、共享权值、下采样以及使用多个卷积

6.深度学习反思

模型参数和数据量的关系