Introduction to Machine Learning CS182

约 1036 个字 预计阅读时间 3 分钟

参考课程：上海科技大学 CS182 Introduction to Machine Learning

参考书本：机器学习导论 Ethem Alpaydin 机械工业出版社 第三版

声明：本份笔记有部分内容参考了 GPT4 生成内容。

符号说明：

符号	含义
$x$	标量值
$\mathbf{x}$	向量
$\mathbf{X}$	矩阵
$x^T$	转置
$X^{-1}$	逆矩阵
$X$	随机变量
$P(X)$	概率质量函数，$X$ 是离散的
$p(x)$	概率密度函数，$X$ 是连续的
$P(X\Vert Y)$	给定 $Y$，$X$ 的条件概率
$E[X]$	随机变量 $X$ 的期望值
$\text{Var}(X)$	$X$ 的方差
$\text{Cov}(X,Y)$	$X$ 和 $Y$ 的协方差
$\text{Corr}(X,Y)$	$X$ 和 $Y$ 的相关性
$\mu$	均值
${\sigma }^2$	方差
$\mathbf{\Sigma }$	协方差矩阵
$m$	均值的估计
$s^2$	方差的估计
${\mathbf{S}}^{\mathbf{2}}$	协方差矩阵的估计
$\mathcal{N}(\mu ,{\sigma }^2)$	一元正态分布，均值为 $\mu$，方差为 ${\sigma }^2$
$\mathcal{Z}$	单位正态分布 $\mathcal{N}(0,1)$
${\mathcal{N}}^d(\mu ,\mathbf{\Sigma })$	$d$ 元正态分布，均值向量为 $\mu$，协方差矩阵为 $\mathbf{\Sigma }$
$x$	输入
$d$	输入数（输入的维度）
$y$	输出
$r$	要求的输出
$K$	输出数（类）
$N$	训练实例数
$z$	隐藏值，内蕴维，潜在因子
$k$	隐藏维数，潜在因子数
$C_i$	类 $i$
$\mathcal{X}$	训练样本
$\{x^t{\}}_{t=1}^N$	$x$ 的集合，上标 $t$ 遍取 $1$ 到 $N$
$\{x^t,r^t\}$	上标为 $t$ 的输入和期望输出的有序对的集合
$g(x\Vert \theta )$	$x$ 的函数，其定义依赖于参数集 $\theta$
$\arg \underset{\theta }{max}g(x\Vert \theta )$	使得 $g$ 取最大值的参数 $\theta$
$\arg \underset{\theta }{min}g(x\Vert \theta )$	使得 $g$ 取最小值的参数 $\theta$
$E(\theta \Vert \mathcal{X})$	样本 $\mathcal{X}$ 上具有参数 $\theta$ 的误差函数
$l(\theta \Vert \mathcal{X})$	样本 $\mathcal{X}$ 上具有参数 $\theta$

---

后记

一学期的 IML 课程终于要要结束了。尽管还有三章的内容还没有总结，但是由于考试内容并不涉及那三章，所以暂时等到之后再去完成了。希望后面能想起来有这件事情。我觉得 CNN RNN 和 GAN 还是有必要写一写的，不过也可能会换成到 cs231n 那板块里面去写，那 这份机器学习课的笔记就基本完全不涉及深度学习了哈哈。

学了一学期的信院的大三的硬课，很累，不过也感慨孙露老师人真的很好。尽管教的非常快并且内容非常多，但他把可以提供的资料都放在了 BB 上面给我们参考，这也导致了我后面直接溜走然后慢慢听回放视频x。 四个月的时间给机器学习引论写了差不多有六万多字的笔记吧，在现在复习的时候感觉写的还是比较清楚的，虽然感觉前面两章当时能写明白有点不可思议。

事实上，这门课和我当时选的时候期望学到的东西有点差距。这门课基本上就是推导得出各种各样的机器学习的数学公式，讲一讲各种机器学习方法的原理。我还是挺希望能学到像这样子的知识的，只是没有想到这么数学，本以为会更多涉及代码以及应用什么的。不过，真的学到了非常多的知识，应该很能帮助理解后续的深度学习相关的思想来源吧。信院的课还是很硬以及能学到很多东西的，要是绩点能给的水一点的话真的蛮喜欢的。

将这学期的经历和大一一年作对比，感觉还是应该多选点硬课以及真正感兴趣的课的，选各种各样的通识课简直就是折磨人与浪费时间。不过我还是挺满意下学期的安排以及到目前为止的课程安排的，至少后面不用担心毕业以及可以过得相对轻松点，可以把时间更多的放到科研上面去了。