本篇主要介绍了线性模型中线性回归和Softmax回归的实现。在补充说明中，介绍了相关的softlabel策略以及损失函数设计思路探寻。

本篇主要记录了动手学深度学习之前需要具备的一些预备知识，包括线性代数补充，导数计算以及自动求导。此处并不会记录线性代数的详细学习过程，而是集中记录一些在机器学习中会遇到的概念。

本篇主要介绍了前馈神经网络，它是最具代表性的神经网络。当神经网络的层数达到一定数量的时候（一般大于2），此时又称为深度神经网络。对于深度神经网络，我们通常使用随机梯度下降来进行优化，其中反向传播是计算梯度的重要实现。在优化过程中，还有一些问题，例如梯度下降、梯度爆炸、内部协变量偏移等，这些问题可以通过不同的归一化方法来解决。

本篇主要介绍了集成学习的概念。集成学习是一种思想，意在结合多种模型以达到更好的效果。集成学习的典型方式包括Bagging、Boosting、Stacking和Blending。Bagging方式代表算法是随机森林、Boosting方式代表算法是AdaBoost和提升树。

本篇主要介绍了决策树模型。决策树通过构造一个树形结构来逐步决策，直到最终的决策结果。决策树的学习算法包括了ID3、C4.5和CART。

长篇预警。本篇主要围绕支持向量机SVM进行介绍，包括线性SVM和非线性SVM。在线性SVM中，分为硬间隔最大化和软间隔最大化两种情况；在非线形SVM中，则引入了核函数技巧。

本篇主要介绍了机器学习中常见的线性回归以及Logisitic回归，其中线性回归主要用来解决回归问题，而Logisitc回归面向分类问题。同时还介绍了由二分类问题如何扩展到多分类问题，包括扩展思想和softmax回归。

二分类问题是机器学习中常见的问题，它要求最终的输出只有两种。而感知机是一种用于二分类的基础线性分类模型，同时还属于监督学习、在线学习。本篇主要介绍了感知机模型的概念、学习策略和学习算法，最后介绍了算法可行性。

本篇主要介绍了机器学习中的过拟合、正则化以及Validation验证的概念。过拟合指的是模型在训练集上效果好，但是泛化能力差；正则化是结构风险最小化的实现，增加对模型复杂度，通常被用来解决过拟合问题；Validation验证则可以辅助完成在机器学习中可能遇到的各种选择问题。

几乎所有的机器学习算法最终都会归结于对某个目标函数进行优化。如果这个问题有解析解，那么可以很容易计算出来，但是大多数情况下问题是没有解析解的，因此需要利用某种方式求得对应的数值解。一种最为常用的方法就是梯度下降。本篇主要介绍了梯度下降的基本思想以及相关变体。