Introduction to Machine Learning CS182¶
约 1036 个字 预计阅读时间 3 分钟
参考课程：上海科技大学 CS182 Introduction to Machine Learning
参考书本：机器学习导论 Ethem Alpaydin 机械工业出版社 第三版
声明：本份笔记有部分内容参考了 GPT4 生成内容。
符号说明：
| 符号 | 含义 |
|---|---|
| \(x\) | 标量值 |
| \(\mathbf{x}\) | 向量 |
| \(\mathbf{X}\) | 矩阵 |
| \(x^T\) | 转置 |
| \(X^{-1}\) | 逆矩阵 |
| \(X\) | 随机变量 |
| \(P(X)\) | 概率质量函数，\(X\) 是离散的 |
| \(p(x)\) | 概率密度函数，\(X\) 是连续的 |
| \(P(X \| Y)\) | 给定 \(Y\)，\(X\) 的条件概率 |
| \(E[X]\) | 随机变量 \(X\) 的期望值 |
| \(\text{Var}(X)\) | \(X\) 的方差 |
| \(\text{Cov}(X, Y)\) | \(X\) 和 \(Y\) 的协方差 |
| \(\text{Corr}(X, Y)\) | \(X\) 和 \(Y\) 的相关性 |
| \(\mu\) | 均值 |
| \(\sigma^2\) | 方差 |
| \(\mathbf{\Sigma}\) | 协方差矩阵 |
| \(m\) | 均值的估计 |
| \(s^2\) | 方差的估计 |
| \(\mathbf{S^2}\) | 协方差矩阵的估计 |
| \(\mathcal{N}(\mu,\sigma^2)\) | 一元正态分布，均值为 \(\mu\)，方差为 \(\sigma^2\) |
| \(\mathcal{Z}\) | 单位正态分布 \(\mathcal{N}(0,1)\) |
| \(\mathcal{N}^d(\mathbf{\mu},\mathbf{\Sigma})\) | \(d\) 元正态分布，均值向量为 \(\mathbf{\mu}\)，协方差矩阵为 \(\mathbf{\Sigma}\) |
| \(x\) | 输入 |
| \(d\) | 输入数（输入的维度） |
| \(y\) | 输出 |
| \(r\) | 要求的输出 |
| \(K\) | 输出数（类） |
| \(N\) | 训练实例数 |
| \(z\) | 隐藏值，内蕴维，潜在因子 |
| \(k\) | 隐藏维数，潜在因子数 |
| \(C_i\) | 类 \(i\) |
| \(\mathcal{X}\) | 训练样本 |
| \(\{x^t\}_{t=1}^{N}\) | \(x\) 的集合，上标 \(t\) 遍取 \(1\) 到 \(N\) |
| \(\{x^t,r^t\}\) | 上标为 \(t\) 的输入和期望输出的有序对的集合 |
| \(g(x\|\theta)\) | \(x\) 的函数，其定义依赖于参数集 \(\theta\) |
| \(\arg \underset{\theta}{\max} g(x\|\theta)\) | 使得 \(g\) 取最大值的参数 \(\theta\) |
| \(\arg \underset{\theta}{\min} g(x\|\theta)\) | 使得 \(g\) 取最小值的参数 \(\theta\) |
| \(E(\theta\|\mathcal{X})\) | 样本 \(\mathcal{X}\) 上具有参数 \(\theta\) 的误差函数 |
| \(l(\theta\|\mathcal{X})\) | 样本 \(\mathcal{X}\) 上具有参数 \(\theta\) |
后记
一学期的 IML 课程终于要要结束了。尽管还有三章的内容还没有总结，但是由于考试内容并不涉及那三章，所以暂时等到之后再去完成了。希望后面能想起来有这件事情。我觉得 CNN RNN 和 GAN 还是有必要写一写的，不过也可能会换成到 cs231n 那板块里面去写，那 这份机器学习课的笔记就基本完全不涉及深度学习了哈哈。
学了一学期的信院的大三的硬课，很累，不过也感慨孙露老师人真的很好。尽管教的非常快并且内容非常多，但他把可以提供的资料都放在了 BB 上面给我们参考，这也导致了我后面直接溜走然后慢慢听回放视频x。 四个月的时间给机器学习引论写了差不多有六万多字的笔记吧，在现在复习的时候感觉写的还是比较清楚的，虽然感觉前面两章当时能写明白有点不可思议。
事实上，这门课和我当时选的时候期望学到的东西有点差距。这门课基本上就是推导得出各种各样的机器学习的数学公式，讲一讲各种机器学习方法的原理。我还是挺希望能学到像这样子的知识的，只是没有想到这么数学，本以为会更多涉及代码以及应用什么的。不过，真的学到了非常多的知识，应该很能帮助理解后续的深度学习相关的思想来源吧。信院的课还是很硬以及能学到很多东西的，要是绩点能给的水一点的话真的蛮喜欢的。
将这学期的经历和大一一年作对比，感觉还是应该多选点硬课以及真正感兴趣的课的，选各种各样的通识课简直就是折磨人与浪费时间。不过我还是挺满意下学期的安排以及到目前为止的课程安排的，至少后面不用担心毕业以及可以过得相对轻松点，可以把时间更多的放到科研上面去了。