本系列为Games101的学习笔记。本篇主要介绍了计算机图形学中的线性代数基础以及变换的操作。其中重点在于变换Transformation，包括2D变换的介绍，齐次坐标的引入以及推广到3D变换。最后介绍了图形学中的MVP Transformation，即模型变换、视角变换和投影变换。通过MVP变换，我们可以将空间坐标系中任意的Model缩放到一个标准立方体中，便于后续的处理。

本篇主要是利用之前学过的知识，完整地完成一次预测任务。本篇不涉及相关的概念和理论的描述，仅包含代码的相关讲解。

本篇主要介绍了前馈神经网络，又称多层感知机的基本实现，以及一些正则化手段的实现，包括权重衰退和Dropout。注意本篇基本均为使用方面的记录，并没有涉及很多的理论知识，理论知识可以参考机器学习基础系列中与神经网络相关的文章。

本篇主要介绍了线性模型中线性回归和Softmax回归的实现。在补充说明中，介绍了相关的softlabel策略以及损失函数设计思路探寻。

本篇主要记录了动手学深度学习之前需要具备的一些预备知识，包括线性代数补充，导数计算以及自动求导。此处并不会记录线性代数的详细学习过程，而是集中记录一些在机器学习中会遇到的概念。

本篇主要介绍了前馈神经网络，它是最具代表性的神经网络。当神经网络的层数达到一定数量的时候（一般大于2），此时又称为深度神经网络。对于深度神经网络，我们通常使用随机梯度下降来进行优化，其中反向传播是计算梯度的重要实现。在优化过程中，还有一些问题，例如梯度下降、梯度爆炸、内部协变量偏移等，这些问题可以通过不同的归一化方法来解决。

本篇主要介绍了集成学习的概念。集成学习是一种思想，意在结合多种模型以达到更好的效果。集成学习的典型方式包括Bagging、Boosting、Stacking和Blending。Bagging方式代表算法是随机森林、Boosting方式代表算法是AdaBoost和提升树。

本篇主要介绍了决策树模型。决策树通过构造一个树形结构来逐步决策，直到最终的决策结果。决策树的学习算法包括了ID3、C4.5和CART。

长篇预警。本篇主要围绕支持向量机SVM进行介绍，包括线性SVM和非线性SVM。在线性SVM中，分为硬间隔最大化和软间隔最大化两种情况；在非线形SVM中，则引入了核函数技巧。

本篇主要介绍了机器学习中常见的线性回归以及Logisitic回归，其中线性回归主要用来解决回归问题，而Logisitc回归面向分类问题。同时还介绍了由二分类问题如何扩展到多分类问题，包括扩展思想和softmax回归。