第 2 周：数学够用基础

本周目标

• 补齐 AI/ML 所需的核心数学知识，建立直觉理解。
• 能把关键概念写成：公式（LaTeX）、代码（NumPy）、几何图像（可视化）。
• 每个概念都回答两个问题：在 ML 中用在哪里、为什么需要。

学习内容

1. 线性代数核心（扩展为完整章节）

线性代数是 ML 的「表示与变换」基础：数据是向量/矩阵，模型大量使用线性映射与矩阵分解。

1.1 矩阵与向量基础

1.1.1 标量、向量、矩阵、张量的定义与区别

直觉/定义

• 标量：单个实数 $a\in\mathbb{R}$。
• 向量：有序数组 $\mathbf{x}\in\mathbb{R}^n$。
• 矩阵：二维数组 $\mathbf{A}\in\mathbb{R}^{m\times n}$。
• 张量：更高维数组 $\mathcal{T}\in\mathbb{R}^{d_1\times\cdots\times d_k}$。

从计算角度：张量是“多维数组”，关键是 形状（shape） 与 广播（broadcasting）。

核心公式（LaTeX）

$\mathbf{x}=\begin{bmatrix}x_1\\\vdots\\x_n\end{bmatrix},\quad\mathbf{A}=\left[A_{ij}\right]_{m\times n}.$

数据表/对照表

在 ML 中用在哪里？

• 监督学习：$\mathbf{X}\in\mathbb{R}^{N\times d}$，$\mathbf{y}\in\mathbb{R}^N$。
• 神经网络：参数、激活、梯度都是张量。

为什么需要？

• 统一符号让模型表达清晰。
• 向量化计算可把 Python 循环换成底层 BLAS/GPU 高效运算。

1.1.2 矩阵运算：加法、乘法、转置、逆矩阵

直觉/定义

矩阵运算对应对数据的组合与变换：

• 加法/数乘：线性组合。
• 乘法：把输入按列做线性组合。
• 转置：交换行列（常用于构造内积/协方差）。
• 逆：对可逆变换进行“反变换”（但数值计算中更常解方程而非显式求逆）。

核心公式（LaTeX）

加法/数乘： $(\mathbf{A}+\mathbf{B})_{ij}=A_{ij}+B_{ij},\quad (c\mathbf{A})_{ij}=cA_{ij}.$

乘法： $(\mathbf{A}\mathbf{B})_{ij}=\sum_{k=1}^n A_{ik}B_{kj}.$

转置： $(\mathbf{A}^\top)_{ij}=A_{ji}.$

逆矩阵： $\mathbf{A}^{-1}\mathbf{A}=\mathbf{I}.$

代码示例（Python/NumPy）

import numpy as np

A = np.array([[1.,2.,3.],[0.,1.,4.],[5.,6.,0.]])
B = np.eye(3)
x = np.array([1.,2.,3.])

print("A+B=\n", A + B)
print("A@x=", A @ x)
print("A.T=\n", A.T)

# 不建议训练中频繁 inv，这里仅演示
A_inv = np.linalg.inv(A)
print("A_inv@A≈I=\n", A_inv @ A)

# 更推荐：解方程 Ax=b
b = np.array([1.,0.,1.])
sol = np.linalg.solve(A, b)
print('solve=', sol)

在 ML 中用在哪里？

• 线性回归解析解：$\hat{\mathbf{w}}=(\mathbf{X}^\top\mathbf{X})^{-1}\mathbf{X}^\top\mathbf{y}$（当可逆）。
• 正规方程、最小二乘、卡尔曼滤波等大量出现 $\mathbf{X}^\top\mathbf{X}$。

为什么需要？

• 乘法是线性层的核心。
• 理解转置与形状能避免维度错误。
• 理解“解方程优于求逆”能避免数值灾难。

1.1.3 特殊矩阵：单位矩阵、对角矩阵、对称矩阵、正交矩阵

直觉/定义

特殊结构带来更强性质与更快算法：

• 单位矩阵 $\mathbf{I}$：保持向量不变。
• 对角矩阵：仅对角线非零，乘法等价逐元素缩放。
• 对称矩阵：$\mathbf{A}=\mathbf{A}^\top$。
• 正交矩阵：$\mathbf{Q}^\top\mathbf{Q}=\mathbf{I}$，保持长度与角度。

核心公式（LaTeX）

正交保持长度： $\|\mathbf{Qx}\|_2^2=(\mathbf{Qx})^\top(\mathbf{Qx})=\mathbf{x}^\top(\mathbf{Q}^\top\mathbf{Q})\mathbf{x}=\|\mathbf{x}\|_2^2.$

对称矩阵谱定理（提示）： $\mathbf{A}=\mathbf{Q}\mathbf{\Lambda}\mathbf{Q}^\top.$

在 ML 中用在哪里？

• PCA 的协方差矩阵对称半正定。
• QR 分解中 $\mathbf{Q}$ 是正交矩阵，用于最小二乘的稳定求解。

为什么需要？

• 结构信息决定可用的数值方法（如 SPD 用 Cholesky 更快更稳）。
• 正交变换常用于数值稳定与特征解耦。

练习与思考（1.1 矩阵与向量基础）

建议：先手算，再用 NumPy 验证。每题写出「结果 + 一句话解释」。

• 题 01：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 02：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 03：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 04：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 05：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 06：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 07：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 08：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 09：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 10：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 11：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 12：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 13：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 14：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 15：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 16：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 17：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 18：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 19：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 20：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 21：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 22：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 23：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 24：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 25：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 26：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 27：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 28：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 29：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 30：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 31：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 32：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 33：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 34：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 35：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 36：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 37：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 38：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 39：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 40：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 41：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 42：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 43：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 44：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 45：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 46：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 47：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 48：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 49：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 50：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 51：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 52：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 53：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 54：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 55：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 56：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 57：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 58：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 59：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 60：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 61：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 62：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 63：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 64：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 65：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 66：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 67：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 68：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 69：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 70：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 71：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 72：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 73：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 74：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 75：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 76：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 77：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 78：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 79：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 80：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

1.2 向量空间与线性变换

1.2.1 向量空间、线性组合、线性无关

直觉/定义

向量空间是“可做线性运算”的集合。线性组合刻画张成（span），线性无关刻画是否冗余。

核心公式（LaTeX）

线性组合： $\mathbf{x}=\sum_{i=1}^k a_i\mathbf{v}_i.$

线性无关： $\sum_{i=1}^k a_i\mathbf{v}_i=\mathbf{0}\Rightarrow a_i=0\ (\forall i).$

在 ML 中用在哪里？

• 特征共线性会让回归解不稳。
• 表示学习希望学到能张成数据变化的基向量。

为什么需要？

• 冗余维度增加过拟合风险并恶化条件数。

要点速览（1.2.1）

• 要点 01：
• 要点 02：
• 要点 03：
• 要点 04：
• 要点 05：
• 要点 06：
• 要点 07：
• 要点 08：
• 要点 09：
• 要点 10：
• 要点 11：
• 要点 12：
• 要点 13：
• 要点 14：
• 要点 15：
• 要点 16：
• 要点 17：
• 要点 18：
• 要点 19：
• 要点 20：
• 要点 21：
• 要点 22：
• 要点 23：
• 要点 24：
• 要点 25：
• 要点 26：
• 要点 27：
• 要点 28：
• 要点 29：
• 要点 30：
• 要点 31：
• 要点 32：
• 要点 33：
• 要点 34：
• 要点 35：
• 要点 36：
• 要点 37：
• 要点 38：
• 要点 39：
• 要点 40：
• 要点 41：
• 要点 42：
• 要点 43：
• 要点 44：
• 要点 45：
• 要点 46：
• 要点 47：
• 要点 48：
• 要点 49：
• 要点 50：

1.2.2 基与维度、秩（rank）

直觉/定义

基是一组“最少且足够”的方向；秩是矩阵列空间维度，反映有效自由度。

核心公式（LaTeX）

$\mathrm{rank}(\mathbf{A})=\dim(\mathrm{Col}(\mathbf{A}))=\dim(\mathrm{Row}(\mathbf{A})).$

代码示例（Python/NumPy）

import numpy as np
A = np.array([[1.,2.,3.],[2.,4.,6.],[1.,0.,1.]])
print(np.linalg.matrix_rank(A))

在 ML 中用在哪里？

• 推荐系统/矩阵补全中的低秩假设。
• 线性回归满秩性决定解是否唯一。

为什么需要？

• 判断可压缩性与可解性；决定是否需要正则化。

要点速览（1.2.2）

• 要点 01：
• 要点 02：
• 要点 03：
• 要点 04：
• 要点 05：
• 要点 06：
• 要点 07：
• 要点 08：
• 要点 09：
• 要点 10：
• 要点 11：
• 要点 12：
• 要点 13：
• 要点 14：
• 要点 15：
• 要点 16：
• 要点 17：
• 要点 18：
• 要点 19：
• 要点 20：
• 要点 21：
• 要点 22：
• 要点 23：
• 要点 24：
• 要点 25：
• 要点 26：
• 要点 27：
• 要点 28：
• 要点 29：
• 要点 30：
• 要点 31：
• 要点 32：
• 要点 33：
• 要点 34：
• 要点 35：
• 要点 36：
• 要点 37：
• 要点 38：
• 要点 39：
• 要点 40：
• 要点 41：
• 要点 42：
• 要点 43：
• 要点 44：
• 要点 45：
• 要点 46：
• 要点 47：
• 要点 48：
• 要点 49：
• 要点 50：

1.2.3 线性变换的几何意义（旋转/缩放/投影/剪切）

直觉/定义

线性变换保持过原点直线结构。旋转/缩放改变形状但保持线性结构；投影会降低维度。

核心公式（LaTeX）

线性： $T(a\mathbf{x}+b\mathbf{y})=aT(\mathbf{x})+bT(\mathbf{y}).$

矩阵表示： $T(\mathbf{x})=\mathbf{A}\mathbf{x}.$

在 ML 中用在哪里？

• 线性层、特征变换、PCA 投影。

为什么需要？

• 许多学习问题是寻找合适变换使数据可分或更易拟合。

要点速览（1.2.3）

• 要点 01：
• 要点 02：
• 要点 03：
• 要点 04：
• 要点 05：
• 要点 06：
• 要点 07：
• 要点 08：
• 要点 09：
• 要点 10：
• 要点 11：
• 要点 12：
• 要点 13：
• 要点 14：
• 要点 15：
• 要点 16：
• 要点 17：
• 要点 18：
• 要点 19：
• 要点 20：
• 要点 21：
• 要点 22：
• 要点 23：
• 要点 24：
• 要点 25：
• 要点 26：
• 要点 27：
• 要点 28：
• 要点 29：
• 要点 30：
• 要点 31：
• 要点 32：
• 要点 33：
• 要点 34：
• 要点 35：
• 要点 36：
• 要点 37：
• 要点 38：
• 要点 39：
• 要点 40：
• 要点 41：
• 要点 42：
• 要点 43：
• 要点 44：
• 要点 45：
• 要点 46：
• 要点 47：
• 要点 48：
• 要点 49：
• 要点 50：
• 要点 51：
• 要点 52：
• 要点 53：
• 要点 54：
• 要点 55：
• 要点 56：
• 要点 57：
• 要点 58：
• 要点 59：
• 要点 60：

1.2.4 在 ML 中的应用：特征空间、数据变换

直觉/定义

把样本看作空间点：分类=超平面分割；回归=拟合连续曲面；降维=投影到低维子空间。

核心公式（LaTeX）

线性回归： $\hat{y}=\mathbf{w}^\top\mathbf{x}+b.$

子空间投影（示意）： $\mathbf{z}=\mathbf{U}^\top(\mathbf{x}-\boldsymbol{\mu}).$

在 ML 中用在哪里？

• 标准化/白化改善优化。
• PCA/ICA 等变换用于去噪与压缩。

为什么需要？

• 好的表示能降低模型复杂度、提升可泛化性。

要点速览（1.2.4）

• 要点 01：
• 要点 02：
• 要点 03：
• 要点 04：
• 要点 05：
• 要点 06：
• 要点 07：
• 要点 08：
• 要点 09：
• 要点 10：
• 要点 11：
• 要点 12：
• 要点 13：
• 要点 14：
• 要点 15：
• 要点 16：
• 要点 17：
• 要点 18：
• 要点 19：
• 要点 20：
• 要点 21：
• 要点 22：
• 要点 23：
• 要点 24：
• 要点 25：
• 要点 26：
• 要点 27：
• 要点 28：
• 要点 29：
• 要点 30：
• 要点 31：
• 要点 32：
• 要点 33：
• 要点 34：
• 要点 35：
• 要点 36：
• 要点 37：
• 要点 38：
• 要点 39：
• 要点 40：
• 要点 41：
• 要点 42：
• 要点 43：
• 要点 44：
• 要点 45：
• 要点 46：
• 要点 47：
• 要点 48：
• 要点 49：
• 要点 50：

练习与思考（1.2 向量空间与线性变换）

建议：先手算，再用 NumPy 验证。每题写出「结果 + 一句话解释」。

• 题 01：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 02：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 03：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 04：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 05：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 06：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 07：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 08：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 09：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 10：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 11：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 12：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 13：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 14：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 15：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 16：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 17：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 18：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 19：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 20：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 21：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 22：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 23：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 24：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 25：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 26：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 27：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 28：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 29：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 30：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 31：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 32：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 33：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 34：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 35：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 36：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 37：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 38：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 39：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 40：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 41：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 42：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 43：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 44：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 45：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 46：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 47：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 48：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 49：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 50：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 51：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 52：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 53：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 54：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 55：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 56：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 57：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 58：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 59：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 60：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 61：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 62：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 63：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 64：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 65：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 66：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 67：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 68：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 69：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 70：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 71：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 72：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 73：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 74：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 75：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 76：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 77：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 78：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 79：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 80：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

1.3 特征值与特征向量

1.3.1 定义与几何直觉

直觉/定义

特征向量方向在变换下不变，只会按特征值缩放。

核心公式（LaTeX）

$\mathbf{A}\mathbf{v}=\lambda\mathbf{v},\ \mathbf{v}\ne\mathbf{0}.$

在 ML 中用在哪里？

• PCA 主方向。
• 谱聚类/图嵌入。

为什么需要？

• 用少量方向概括变换的主要行为。

要点速览（1.3.1）

• 要点 01：
• 要点 02：
• 要点 03：
• 要点 04：
• 要点 05：
• 要点 06：
• 要点 07：
• 要点 08：
• 要点 09：
• 要点 10：
• 要点 11：
• 要点 12：
• 要点 13：
• 要点 14：
• 要点 15：
• 要点 16：
• 要点 17：
• 要点 18：
• 要点 19：
• 要点 20：
• 要点 21：
• 要点 22：
• 要点 23：
• 要点 24：
• 要点 25：
• 要点 26：
• 要点 27：
• 要点 28：
• 要点 29：
• 要点 30：
• 要点 31：
• 要点 32：
• 要点 33：
• 要点 34：
• 要点 35：
• 要点 36：
• 要点 37：
• 要点 38：
• 要点 39：
• 要点 40：
• 要点 41：
• 要点 42：
• 要点 43：
• 要点 44：
• 要点 45：
• 要点 46：
• 要点 47：
• 要点 48：
• 要点 49：
• 要点 50：

1.3.2 特征值分解（EVD）

直觉/定义

可对角化矩阵=在特征基上逐维缩放。对称矩阵可正交对角化更稳定。

核心公式（LaTeX）

$\mathbf{A}=\mathbf{V}\mathbf{\Lambda}\mathbf{V}^{-1}.$ $\mathbf{A}=\mathbf{Q}\mathbf{\Lambda}\mathbf{Q}^\top\ (对称).$

在 ML 中用在哪里？

• 协方差矩阵分析；Hessian 曲率分析。

为什么需要？

• 将矩阵问题化为标量问题（特征值）+方向问题（特征向量）。

要点速览（1.3.2）

• 要点 01：
• 要点 02：
• 要点 03：
• 要点 04：
• 要点 05：
• 要点 06：
• 要点 07：
• 要点 08：
• 要点 09：
• 要点 10：
• 要点 11：
• 要点 12：
• 要点 13：
• 要点 14：
• 要点 15：
• 要点 16：
• 要点 17：
• 要点 18：
• 要点 19：
• 要点 20：
• 要点 21：
• 要点 22：
• 要点 23：
• 要点 24：
• 要点 25：
• 要点 26：
• 要点 27：
• 要点 28：
• 要点 29：
• 要点 30：
• 要点 31：
• 要点 32：
• 要点 33：
• 要点 34：
• 要点 35：
• 要点 36：
• 要点 37：
• 要点 38：
• 要点 39：
• 要点 40：
• 要点 41：
• 要点 42：
• 要点 43：
• 要点 44：
• 要点 45：
• 要点 46：
• 要点 47：
• 要点 48：
• 要点 49：
• 要点 50：

1.3.3 在 PCA 中的核心作用

直觉/定义

PCA 等价于最大化 Rayleigh 商，因此主成分是最大特征值的特征向量。

核心公式（LaTeX）

$\max_{\|\mathbf{u}\|_2=1}\ \mathbf{u}^\top\mathbf{\Sigma}\mathbf{u}.$ $\mathbf{\Sigma}\mathbf{u}=\lambda\mathbf{u}.$

在 ML 中用在哪里？

• 降维、去噪、可视化、加速训练。

为什么需要？

• 把信息集中到少数维度，降低噪声与冗余。

要点速览（1.3.3）

• 要点 01：
• 要点 02：
• 要点 03：
• 要点 04：
• 要点 05：
• 要点 06：
• 要点 07：
• 要点 08：
• 要点 09：
• 要点 10：
• 要点 11：
• 要点 12：
• 要点 13：
• 要点 14：
• 要点 15：
• 要点 16：
• 要点 17：
• 要点 18：
• 要点 19：
• 要点 20：
• 要点 21：
• 要点 22：
• 要点 23：
• 要点 24：
• 要点 25：
• 要点 26：
• 要点 27：
• 要点 28：
• 要点 29：
• 要点 30：
• 要点 31：
• 要点 32：
• 要点 33：
• 要点 34：
• 要点 35：
• 要点 36：
• 要点 37：
• 要点 38：
• 要点 39：
• 要点 40：
• 要点 41：
• 要点 42：
• 要点 43：
• 要点 44：
• 要点 45：
• 要点 46：
• 要点 47：
• 要点 48：
• 要点 49：
• 要点 50：
• 要点 51：
• 要点 52：
• 要点 53：
• 要点 54：
• 要点 55：
• 要点 56：
• 要点 57：
• 要点 58：
• 要点 59：
• 要点 60：

1.3.4 NumPy 实现（EVD/PCA）

直觉/定义

对称矩阵用 eigh；排序后取前 k 个特征向量即主成分。

代码示例（Python/NumPy）

import numpy as np
N, d = 200, 2
np.random.seed(0)
X = np.random.randn(N, d) @ np.array([[2.,1.],[0.,0.5]]).T
Xc = X - X.mean(axis=0, keepdims=True)
Sigma = (Xc.T @ Xc) / N
vals, vecs = np.linalg.eigh(Sigma)
idx = np.argsort(vals)[::-1]
vals, vecs = vals[idx], vecs[:,idx]
U = vecs[:, :1]
Z = Xc @ U
print('top eigenvalue', vals[0])

在 ML 中用在哪里？

• PCA 预处理；低维可视化；压缩。

为什么需要？

• 把推导落到可运行代码；理解“矩阵→特征→投影”。

要点速览（1.3.4）

• 要点 01：
• 要点 02：
• 要点 03：
• 要点 04：
• 要点 05：
• 要点 06：
• 要点 07：
• 要点 08：
• 要点 09：
• 要点 10：
• 要点 11：
• 要点 12：
• 要点 13：
• 要点 14：
• 要点 15：
• 要点 16：
• 要点 17：
• 要点 18：
• 要点 19：
• 要点 20：
• 要点 21：
• 要点 22：
• 要点 23：
• 要点 24：
• 要点 25：
• 要点 26：
• 要点 27：
• 要点 28：
• 要点 29：
• 要点 30：
• 要点 31：
• 要点 32：
• 要点 33：
• 要点 34：
• 要点 35：
• 要点 36：
• 要点 37：
• 要点 38：
• 要点 39：
• 要点 40：
• 要点 41：
• 要点 42：
• 要点 43：
• 要点 44：
• 要点 45：
• 要点 46：
• 要点 47：
• 要点 48：
• 要点 49：
• 要点 50：

练习与思考（1.3 特征值与特征向量）

建议：先手算，再用 NumPy 验证。每题写出「结果 + 一句话解释」。

• 题 01：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 02：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 03：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 04：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 05：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 06：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 07：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 08：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 09：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 10：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 11：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 12：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 13：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 14：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 15：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 16：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 17：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 18：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 19：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 20：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 21：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 22：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 23：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 24：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 25：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 26：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 27：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 28：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 29：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 30：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 31：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 32：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 33：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 34：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 35：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 36：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 37：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 38：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 39：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 40：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 41：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 42：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 43：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 44：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 45：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 46：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 47：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 48：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 49：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 50：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 51：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 52：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 53：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 54：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 55：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 56：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 57：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 58：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 59：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 60：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 61：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 62：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 63：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 64：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 65：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 66：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 67：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 68：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 69：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 70：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 71：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 72：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 73：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 74：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 75：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 76：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 77：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 78：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 79：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 80：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

1.4 矩阵分解

1.4.1 SVD（奇异值分解）原理与应用

直觉/定义

SVD 将任意矩阵分解为两个正交变换与一次按轴缩放；奇异值大小提供“重要性排序”。

核心公式（LaTeX）

$\mathbf{A}=\mathbf{U}\mathbf{\Sigma}\mathbf{V}^\top.$ $\mathbf{A}_k=\mathbf{U}_{:,1:k}\mathbf{\Sigma}_{1:k,1:k}\mathbf{V}_{:,1:k}^\top.$

在 ML 中用在哪里？

• 推荐系统矩阵分解。
• 文本 LSA/LSI、压缩去噪、低秩近似。

为什么需要？

• 在 Frobenius 范数下给出最佳低秩近似，是压缩与降维的核心工具。

要点速览（1.4.1）

• 要点 01：
• 要点 02：
• 要点 03：
• 要点 04：
• 要点 05：
• 要点 06：
• 要点 07：
• 要点 08：
• 要点 09：
• 要点 10：
• 要点 11：
• 要点 12：
• 要点 13：
• 要点 14：
• 要点 15：
• 要点 16：
• 要点 17：
• 要点 18：
• 要点 19：
• 要点 20：
• 要点 21：
• 要点 22：
• 要点 23：
• 要点 24：
• 要点 25：
• 要点 26：
• 要点 27：
• 要点 28：
• 要点 29：
• 要点 30：
• 要点 31：
• 要点 32：
• 要点 33：
• 要点 34：
• 要点 35：
• 要点 36：
• 要点 37：
• 要点 38：
• 要点 39：
• 要点 40：
• 要点 41：
• 要点 42：
• 要点 43：
• 要点 44：
• 要点 45：
• 要点 46：
• 要点 47：
• 要点 48：
• 要点 49：
• 要点 50：
• 要点 51：
• 要点 52：
• 要点 53：
• 要点 54：
• 要点 55：
• 要点 56：
• 要点 57：
• 要点 58：
• 要点 59：
• 要点 60：

1.4.2 QR 分解

直觉/定义

QR 把矩阵拆成“正交基 + 上三角”，适合稳定求解最小二乘。

核心公式（LaTeX）

$\mathbf{A}=\mathbf{Q}\mathbf{R},\ \mathbf{Q}^\top\mathbf{Q}=\mathbf{I}.$

在 ML 中用在哪里？

• 最小二乘求解比正规方程更稳定。

为什么需要？

• 避免平方条件数放大带来的数值不稳定。

要点速览（1.4.2）

• 要点 01：
• 要点 02：
• 要点 03：
• 要点 04：
• 要点 05：
• 要点 06：
• 要点 07：
• 要点 08：
• 要点 09：
• 要点 10：
• 要点 11：
• 要点 12：
• 要点 13：
• 要点 14：
• 要点 15：
• 要点 16：
• 要点 17：
• 要点 18：
• 要点 19：
• 要点 20：
• 要点 21：
• 要点 22：
• 要点 23：
• 要点 24：
• 要点 25：
• 要点 26：
• 要点 27：
• 要点 28：
• 要点 29：
• 要点 30：
• 要点 31：
• 要点 32：
• 要点 33：
• 要点 34：
• 要点 35：
• 要点 36：
• 要点 37：
• 要点 38：
• 要点 39：
• 要点 40：

1.4.3 Cholesky 分解

直觉/定义

对称正定矩阵可写成 $\mathbf{A}=\mathbf{L}\mathbf{L}^\top$，可高效求解线性系统与计算对数行列式。

核心公式（LaTeX）

$\mathbf{A}=\mathbf{L}\mathbf{L}^\top,\ \mathbf{A}\succ 0.$

在 ML 中用在哪里？

• 高斯过程、贝叶斯线性回归、协方差矩阵运算。

为什么需要？

• SPD 专用分解更快更稳；避免显式求逆。

要点速览（1.4.3）

• 要点 01：
• 要点 02：
• 要点 03：
• 要点 04：
• 要点 05：
• 要点 06：
• 要点 07：
• 要点 08：
• 要点 09：
• 要点 10：
• 要点 11：
• 要点 12：
• 要点 13：
• 要点 14：
• 要点 15：
• 要点 16：
• 要点 17：
• 要点 18：
• 要点 19：
• 要点 20：
• 要点 21：
• 要点 22：
• 要点 23：
• 要点 24：
• 要点 25：
• 要点 26：
• 要点 27：
• 要点 28：
• 要点 29：
• 要点 30：
• 要点 31：
• 要点 32：
• 要点 33：
• 要点 34：
• 要点 35：
• 要点 36：
• 要点 37：
• 要点 38：
• 要点 39：
• 要点 40：

1.4.4 推荐系统与数据压缩中的应用

直觉/定义

矩阵分解把交互/信号拆成少量潜因子；压缩保留主导奇异值即可保留主要结构。

核心公式（LaTeX）

$\mathbf{R}\approx\mathbf{P}\mathbf{Q}^\top.$

在 ML 中用在哪里？

• 协同过滤、矩阵补全、embedding 压缩、低秩微调。

为什么需要？

• 用更少参数逼近原始数据，提升泛化并降低存储/算力。

要点速览（1.4.4）

• 要点 01：
• 要点 02：
• 要点 03：
• 要点 04：
• 要点 05：
• 要点 06：
• 要点 07：
• 要点 08：
• 要点 09：
• 要点 10：
• 要点 11：
• 要点 12：
• 要点 13：
• 要点 14：
• 要点 15：
• 要点 16：
• 要点 17：
• 要点 18：
• 要点 19：
• 要点 20：
• 要点 21：
• 要点 22：
• 要点 23：
• 要点 24：
• 要点 25：
• 要点 26：
• 要点 27：
• 要点 28：
• 要点 29：
• 要点 30：
• 要点 31：
• 要点 32：
• 要点 33：
• 要点 34：
• 要点 35：
• 要点 36：
• 要点 37：
• 要点 38：
• 要点 39：
• 要点 40：

练习与思考（1.4 矩阵分解）

建议：先手算，再用 NumPy 验证。每题写出「结果 + 一句话解释」。

• 题 01：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 02：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 03：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 04：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 05：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 06：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 07：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 08：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 09：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 10：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 11：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 12：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 13：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 14：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 15：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 16：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 17：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 18：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 19：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 20：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 21：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 22：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 23：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 24：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 25：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 26：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 27：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 28：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 29：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 30：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 31：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 32：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 33：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 34：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 35：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 36：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 37：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 38：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 39：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 40：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 41：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 42：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 43：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 44：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 45：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 46：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 47：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 48：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 49：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 50：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 51：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 52：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 53：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 54：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 55：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 56：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 57：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 58：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 59：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 60：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 61：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 62：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 63：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 64：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 65：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 66：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 67：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 68：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 69：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 70：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 71：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 72：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 73：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 74：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 75：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 76：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 77：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 78：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 79：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 80：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

1.5 范数与距离

1.5.1 L1/L2/Lp 范数

直觉/定义

范数定义“大小”；不同 p 产生不同几何形状（菱形/圆/方形），从而影响正则化解。

核心公式（LaTeX）

$\|\mathbf{x}\|_p=\left(\sum_i |x_i|^p\right)^{1/p}.$

在 ML 中用在哪里？

• L1: 稀疏特征选择；L2: 平滑与 weight decay。

为什么需要？

• 选择范数=选择归纳偏置（inductive bias）。

要点速览（1.5.1）

• 要点 01：
• 要点 02：
• 要点 03：
• 要点 04：
• 要点 05：
• 要点 06：
• 要点 07：
• 要点 08：
• 要点 09：
• 要点 10：
• 要点 11：
• 要点 12：
• 要点 13：
• 要点 14：
• 要点 15：
• 要点 16：
• 要点 17：
• 要点 18：
• 要点 19：
• 要点 20：
• 要点 21：
• 要点 22：
• 要点 23：
• 要点 24：
• 要点 25：
• 要点 26：
• 要点 27：
• 要点 28：
• 要点 29：
• 要点 30：
• 要点 31：
• 要点 32：
• 要点 33：
• 要点 34：
• 要点 35：
• 要点 36：
• 要点 37：
• 要点 38：
• 要点 39：
• 要点 40：
• 要点 41：
• 要点 42：
• 要点 43：
• 要点 44：
• 要点 45：
• 要点 46：
• 要点 47：
• 要点 48：
• 要点 49：
• 要点 50：

1.5.2 矩阵范数（Frobenius/谱范数）

直觉/定义

Frobenius 是元素平方和开方；谱范数是最大放大倍数（最大奇异值）。

核心公式（LaTeX）

$\|\mathbf{A}\|_F=\sqrt{\sum_{i,j}A_{ij}^2}.$ $\|\mathbf{A}\|_2=\sigma_{\max}(\mathbf{A}).$

在 ML 中用在哪里？

• 稳定性分析、对抗鲁棒性、谱归一化。

为什么需要？

• 量化线性层放大程度，理解梯度爆炸/消失。

要点速览（1.5.2）

• 要点 01：
• 要点 02：
• 要点 03：
• 要点 04：
• 要点 05：
• 要点 06：
• 要点 07：
• 要点 08：
• 要点 09：
• 要点 10：
• 要点 11：
• 要点 12：
• 要点 13：
• 要点 14：
• 要点 15：
• 要点 16：
• 要点 17：
• 要点 18：
• 要点 19：
• 要点 20：
• 要点 21：
• 要点 22：
• 要点 23：
• 要点 24：
• 要点 25：
• 要点 26：
• 要点 27：
• 要点 28：
• 要点 29：
• 要点 30：
• 要点 31：
• 要点 32：
• 要点 33：
• 要点 34：
• 要点 35：
• 要点 36：
• 要点 37：
• 要点 38：
• 要点 39：
• 要点 40：

1.5.3 余弦相似度

直觉/定义

余弦相似度关注夹角，适合比较 embedding 的语义方向。

核心公式（LaTeX）

$\mathrm{cos}(\mathbf{x},\mathbf{y})=\frac{\mathbf{x}^\top\mathbf{y}}{\|\mathbf{x}\|_2\|\mathbf{y}\|_2}.$

在 ML 中用在哪里？

• 向量检索、推荐、对比学习。

为什么需要？

• 对长度不敏感，在高维语义空间更稳健。

要点速览（1.5.3）

• 要点 01：
• 要点 02：
• 要点 03：
• 要点 04：
• 要点 05：
• 要点 06：
• 要点 07：
• 要点 08：
• 要点 09：
• 要点 10：
• 要点 11：
• 要点 12：
• 要点 13：
• 要点 14：
• 要点 15：
• 要点 16：
• 要点 17：
• 要点 18：
• 要点 19：
• 要点 20：
• 要点 21：
• 要点 22：
• 要点 23：
• 要点 24：
• 要点 25：
• 要点 26：
• 要点 27：
• 要点 28：
• 要点 29：
• 要点 30：
• 要点 31：
• 要点 32：
• 要点 33：
• 要点 34：
• 要点 35：
• 要点 36：
• 要点 37：
• 要点 38：
• 要点 39：
• 要点 40：

1.5.4 范数在正则化与损失函数中的应用

直觉/定义

正则化=给参数加约束或惩罚；范数是最常用的惩罚形式。

核心公式（LaTeX）

\min_\mathbf{w}\ rac{1}{N}\sum_i\ell_i + \lambda\|\mathbf{w}\|_2^2.

在 ML 中用在哪里？

• weight decay、稀疏化、对抗训练（约束扰动范数）。

为什么需要？

• 控制复杂度，提升泛化，改善数值稳定性。

要点速览（1.5.4）

• 要点 01：
• 要点 02：
• 要点 03：
• 要点 04：
• 要点 05：
• 要点 06：
• 要点 07：
• 要点 08：
• 要点 09：
• 要点 10：
• 要点 11：
• 要点 12：
• 要点 13：
• 要点 14：
• 要点 15：
• 要点 16：
• 要点 17：
• 要点 18：
• 要点 19：
• 要点 20：
• 要点 21：
• 要点 22：
• 要点 23：
• 要点 24：
• 要点 25：
• 要点 26：
• 要点 27：
• 要点 28：
• 要点 29：
• 要点 30：
• 要点 31：
• 要点 32：
• 要点 33：
• 要点 34：
• 要点 35：
• 要点 36：
• 要点 37：
• 要点 38：
• 要点 39：
• 要点 40：

练习与思考（1.5 范数与距离）

建议：先手算，再用 NumPy 验证。每题写出「结果 + 一句话解释」。

• 题 01：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 02：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 03：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 04：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 05：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 06：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 07：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 08：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 09：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 10：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 11：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 12：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 13：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 14：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 15：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 16：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 17：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 18：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 19：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 20：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 21：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 22：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 23：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 24：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 25：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 26：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 27：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 28：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 29：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 30：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 31：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 32：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 33：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 34：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 35：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 36：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 37：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 38：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 39：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 40：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 41：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 42：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 43：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 44：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 45：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 46：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 47：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 48：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 49：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 50：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 51：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 52：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 53：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 54：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 55：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 56：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 57：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 58：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 59：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 60：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 61：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 62：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 63：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 64：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 65：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 66：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 67：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 68：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 69：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 70：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 71：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 72：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 73：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 74：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 75：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 76：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 77：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 78：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 79：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 80：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

2. 微积分与优化（扩展为完整章节）

优化的核心问题：给定损失 $\mathcal{L}(\theta)$，如何高效找到使其尽可能小的参数 $\theta$。

2.1 导数与梯度

2.1.1 导数的直觉与定义

直觉/定义

导数是局部线性近似的斜率，描述函数对输入的敏感度。

核心公式（LaTeX）

$f^{\prime}(x)=\lim_{h\to 0}\frac{f(x+h)-f(x)}{h}.$

在 ML 中用在哪里？

• 损失函数对参数的导数决定更新方向。

为什么需要？

• 训练就是迭代下降；导数提供可计算的“下降信息”。

要点速览（2.1.1）

• 要点 01：
• 要点 02：
• 要点 03：
• 要点 04：
• 要点 05：
• 要点 06：
• 要点 07：
• 要点 08：
• 要点 09：
• 要点 10：
• 要点 11：
• 要点 12：
• 要点 13：
• 要点 14：
• 要点 15：
• 要点 16：
• 要点 17：
• 要点 18：
• 要点 19：
• 要点 20：
• 要点 21：
• 要点 22：
• 要点 23：
• 要点 24：
• 要点 25：
• 要点 26：
• 要点 27：
• 要点 28：
• 要点 29：
• 要点 30：
• 要点 31：
• 要点 32：
• 要点 33：
• 要点 34：
• 要点 35：
• 要点 36：
• 要点 37：
• 要点 38：
• 要点 39：
• 要点 40：

2.1.2 偏导数与梯度

直觉/定义

多元函数对每个变量都有偏导；梯度把所有偏导组成向量，是最陡上升方向。

核心公式（LaTeX）

$\nabla f(\mathbf{x})=\begin{bmatrix}\partial f/\partial x_1\\\vdots\\\partial f/\partial x_d\end{bmatrix}.$

在 ML 中用在哪里？

• 反向传播计算的就是对所有参数的梯度。

为什么需要？

• 参数维度巨大，梯度是唯一可扩展的优化信号。

要点速览（2.1.2）

• 要点 01：
• 要点 02：
• 要点 03：
• 要点 04：
• 要点 05：
• 要点 06：
• 要点 07：
• 要点 08：
• 要点 09：
• 要点 10：
• 要点 11：
• 要点 12：
• 要点 13：
• 要点 14：
• 要点 15：
• 要点 16：
• 要点 17：
• 要点 18：
• 要点 19：
• 要点 20：
• 要点 21：
• 要点 22：
• 要点 23：
• 要点 24：
• 要点 25：
• 要点 26：
• 要点 27：
• 要点 28：
• 要点 29：
• 要点 30：
• 要点 31：
• 要点 32：
• 要点 33：
• 要点 34：
• 要点 35：
• 要点 36：
• 要点 37：
• 要点 38：
• 要点 39：
• 要点 40：

2.1.3 方向导数

直觉/定义

沿某单位方向的变化率，是梯度与方向的内积。

核心公式（LaTeX）

$D_{\mathbf{u}}f(\mathbf{x})=\nabla f(\mathbf{x})^\top\mathbf{u}.$

在 ML 中用在哪里？

• 线搜索；对抗扰动。

为什么需要？

• 把多维问题简化为沿某方向的一维分析。

要点速览（2.1.3）

• 要点 01：
• 要点 02：
• 要点 03：
• 要点 04：
• 要点 05：
• 要点 06：
• 要点 07：
• 要点 08：
• 要点 09：
• 要点 10：
• 要点 11：
• 要点 12：
• 要点 13：
• 要点 14：
• 要点 15：
• 要点 16：
• 要点 17：
• 要点 18：
• 要点 19：
• 要点 20：
• 要点 21：
• 要点 22：
• 要点 23：
• 要点 24：
• 要点 25：
• 要点 26：
• 要点 27：
• 要点 28：
• 要点 29：
• 要点 30：
• 要点 31：
• 要点 32：
• 要点 33：
• 要点 34：
• 要点 35：

2.1.4 链式法则（含多变量）

直觉/定义

复合函数求导要“逐层相乘/相传播”。神经网络训练本质就是链式法则。

核心公式（LaTeX）

一元：$\frac{d}{dx}f(g(x))=f^{\prime}(g(x))g^{\prime}(x).$ 多元：$\nabla_{\mathbf{x}} z=\mathbf{J}_g(\mathbf{x})^\top\nabla_{\mathbf{y}} z.$

在 ML 中用在哪里？

• 反向传播与自动微分。

为什么需要？

• 深度模型是大量算子复合，不用链式法则无法高效训练。

要点速览（2.1.4）

• 要点 01：
• 要点 02：
• 要点 03：
• 要点 04：
• 要点 05：
• 要点 06：
• 要点 07：
• 要点 08：
• 要点 09：
• 要点 10：
• 要点 11：
• 要点 12：
• 要点 13：
• 要点 14：
• 要点 15：
• 要点 16：
• 要点 17：
• 要点 18：
• 要点 19：
• 要点 20：
• 要点 21：
• 要点 22：
• 要点 23：
• 要点 24：
• 要点 25：
• 要点 26：
• 要点 27：
• 要点 28：
• 要点 29：
• 要点 30：
• 要点 31：
• 要点 32：
• 要点 33：
• 要点 34：
• 要点 35：
• 要点 36：
• 要点 37：
• 要点 38：
• 要点 39：
• 要点 40：
• 要点 41：
• 要点 42：
• 要点 43：
• 要点 44：
• 要点 45：
• 要点 46：
• 要点 47：
• 要点 48：
• 要点 49：
• 要点 50：

2.1.5 自动微分 vs 数值微分 vs 符号微分

直觉/定义

数值：近似；符号：代数；自动微分：计算图精确传播。深度学习用反向模式自动微分最合适。

数据表/对照表

在 ML 中用在哪里？

• 开发自定义层/损失时做梯度检查。

为什么需要？

• 理解自动微分机制有助于 debug 梯度爆炸/消失与数值问题。

要点速览（2.1.5）

• 要点 01：
• 要点 02：
• 要点 03：
• 要点 04：
• 要点 05：
• 要点 06：
• 要点 07：
• 要点 08：
• 要点 09：
• 要点 10：
• 要点 11：
• 要点 12：
• 要点 13：
• 要点 14：
• 要点 15：
• 要点 16：
• 要点 17：
• 要点 18：
• 要点 19：
• 要点 20：
• 要点 21：
• 要点 22：
• 要点 23：
• 要点 24：
• 要点 25：
• 要点 26：
• 要点 27：
• 要点 28：
• 要点 29：
• 要点 30：
• 要点 31：
• 要点 32：
• 要点 33：
• 要点 34：
• 要点 35：
• 要点 36：
• 要点 37：
• 要点 38：
• 要点 39：
• 要点 40：

练习与思考（2.1 导数与梯度）

建议：先手算，再用 NumPy 验证。每题写出「结果 + 一句话解释」。

• 题 01：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 02：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 03：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 04：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 05：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 06：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 07：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 08：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 09：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 10：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 11：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 12：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 13：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 14：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 15：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 16：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 17：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 18：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 19：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 20：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 21：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 22：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 23：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 24：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 25：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 26：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 27：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 28：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 29：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 30：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 31：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 32：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 33：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 34：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 35：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 36：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 37：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 38：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 39：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 40：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 41：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 42：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 43：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 44：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 45：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 46：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 47：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 48：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 49：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 50：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 51：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 52：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 53：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 54：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 55：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 56：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 57：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 58：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 59：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 60：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 61：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 62：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 63：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 64：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 65：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 66：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 67：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 68：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 69：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 70：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 71：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 72：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 73：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 74：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 75：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 76：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 77：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 78：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 79：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 80：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

2.2 梯度下降深入

2.2.1 从一维到多维的梯度下降

直觉/定义

每次沿负梯度走一步：$\Delta\mathbf{w}=-\eta\nabla f$。

核心公式（LaTeX）

$\mathbf{w}_{t+1}=\mathbf{w}_t-\eta\nabla f(\mathbf{w}_t).$

在 ML 中用在哪里？

• 训练线性模型与神经网络的基础算法框架。

为什么需要？

• 大规模问题几乎只能依赖迭代一阶方法。

要点速览（2.2.1）

• 要点 01：
• 要点 02：
• 要点 03：
• 要点 04：
• 要点 05：
• 要点 06：
• 要点 07：
• 要点 08：
• 要点 09：
• 要点 10：
• 要点 11：
• 要点 12：
• 要点 13：
• 要点 14：
• 要点 15：
• 要点 16：
• 要点 17：
• 要点 18：
• 要点 19：
• 要点 20：
• 要点 21：
• 要点 22：
• 要点 23：
• 要点 24：
• 要点 25：
• 要点 26：
• 要点 27：
• 要点 28：
• 要点 29：
• 要点 30：
• 要点 31：
• 要点 32：
• 要点 33：
• 要点 34：
• 要点 35：
• 要点 36：
• 要点 37：
• 要点 38：
• 要点 39：
• 要点 40：

2.2.2 学习率选择与收敛性直觉

直觉/定义

学习率决定步幅：过大发散，过小太慢；与损失曲率（Lipschitz 常数）相关。

核心公式（LaTeX）

L-光滑：$\|\nabla f(\mathbf{x})-\nabla f(\mathbf{y})\|\le L\|\mathbf{x}-\mathbf{y}\|.$

在 ML 中用在哪里？

• 学习率调度是深度训练成功关键。

为什么需要？

• 直接决定训练能否收敛与收敛速度。

要点速览（2.2.2）

• 要点 01：
• 要点 02：
• 要点 03：
• 要点 04：
• 要点 05：
• 要点 06：
• 要点 07：
• 要点 08：
• 要点 09：
• 要点 10：
• 要点 11：
• 要点 12：
• 要点 13：
• 要点 14：
• 要点 15：
• 要点 16：
• 要点 17：
• 要点 18：
• 要点 19：
• 要点 20：
• 要点 21：
• 要点 22：
• 要点 23：
• 要点 24：
• 要点 25：
• 要点 26：
• 要点 27：
• 要点 28：
• 要点 29：
• 要点 30：
• 要点 31：
• 要点 32：
• 要点 33：
• 要点 34：
• 要点 35：
• 要点 36：
• 要点 37：
• 要点 38：
• 要点 39：
• 要点 40：
• 要点 41：
• 要点 42：
• 要点 43：
• 要点 44：
• 要点 45：

2.2.3 变体：SGD、Mini-batch、动量法

直觉/定义

用小批量估计梯度降低单步计算量；动量累计方向减少震荡。

核心公式（LaTeX）

动量：$\mathbf{v}_{t+1}=\beta\mathbf{v}_t+\nabla f(\mathbf{w}_t),\ \mathbf{w}_{t+1}=\mathbf{w}_t-\eta\mathbf{v}_{t+1}.$

在 ML 中用在哪里？

• SGD+Momentum、Adam 等优化器。

为什么需要？

• 提升稳定性与收敛速度，适应噪声梯度。

要点速览（2.2.3）

• 要点 01：
• 要点 02：
• 要点 03：
• 要点 04：
• 要点 05：
• 要点 06：
• 要点 07：
• 要点 08：
• 要点 09：
• 要点 10：
• 要点 11：
• 要点 12：
• 要点 13：
• 要点 14：
• 要点 15：
• 要点 16：
• 要点 17：
• 要点 18：
• 要点 19：
• 要点 20：
• 要点 21：
• 要点 22：
• 要点 23：
• 要点 24：
• 要点 25：
• 要点 26：
• 要点 27：
• 要点 28：
• 要点 29：
• 要点 30：
• 要点 31：
• 要点 32：
• 要点 33：
• 要点 34：
• 要点 35：
• 要点 36：
• 要点 37：
• 要点 38：
• 要点 39：
• 要点 40：
• 要点 41：
• 要点 42：
• 要点 43：
• 要点 44：
• 要点 45：

2.2.4 NumPy 实现并可视化下降过程

直觉/定义

在可视化的二次函数上实现 GD，能直观看到轨迹与等高线关系。

在 ML 中用在哪里？

• 对训练循环与调参建立直觉。

为什么需要？

• 强化对“曲率×步长”的理解。

要点速览（2.2.4）

• 要点 01：
• 要点 02：
• 要点 03：
• 要点 04：
• 要点 05：
• 要点 06：
• 要点 07：
• 要点 08：
• 要点 09：
• 要点 10：
• 要点 11：
• 要点 12：
• 要点 13：
• 要点 14：
• 要点 15：
• 要点 16：
• 要点 17：
• 要点 18：
• 要点 19：
• 要点 20：
• 要点 21：
• 要点 22：
• 要点 23：
• 要点 24：
• 要点 25：
• 要点 26：
• 要点 27：
• 要点 28：
• 要点 29：
• 要点 30：

练习与思考（2.2 梯度下降深入）

建议：先手算，再用 NumPy 验证。每题写出「结果 + 一句话解释」。

• 题 01：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 02：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 03：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 04：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 05：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 06：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 07：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 08：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 09：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 10：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 11：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 12：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 13：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 14：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 15：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 16：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 17：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 18：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 19：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 20：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 21：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 22：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 23：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 24：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 25：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 26：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 27：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 28：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 29：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 30：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 31：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 32：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 33：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 34：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 35：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 36：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 37：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 38：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 39：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 40：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 41：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 42：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 43：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 44：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 45：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 46：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 47：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 48：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 49：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 50：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 51：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 52：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 53：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 54：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 55：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 56：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 57：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 58：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 59：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 60：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 61：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 62：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 63：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 64：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 65：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 66：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 67：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 68：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 69：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 70：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 71：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 72：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 73：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 74：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 75：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 76：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 77：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 78：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 79：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 80：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

2.3 凸优化基础

2.3.1 凸函数与凸集

直觉/定义

凸优化的好处：局部最优=全局最优，理论与算法都更可靠。

核心公式（LaTeX）

$f(\theta\mathbf{x}+(1-\theta)\mathbf{y})\le\theta f(\mathbf{x})+(1-\theta)f(\mathbf{y}).$

在 ML 中用在哪里？

• 逻辑回归、SVM、Lasso/Ridge 等大量经典模型。

为什么需要？

• 给出收敛与最优性保证，是理解经典 ML 的基础。

要点速览（2.3.1）

• 要点 01：
• 要点 02：
• 要点 03：
• 要点 04：
• 要点 05：
• 要点 06：
• 要点 07：
• 要点 08：
• 要点 09：
• 要点 10：
• 要点 11：
• 要点 12：
• 要点 13：
• 要点 14：
• 要点 15：
• 要点 16：
• 要点 17：
• 要点 18：
• 要点 19：
• 要点 20：
• 要点 21：
• 要点 22：
• 要点 23：
• 要点 24：
• 要点 25：
• 要点 26：
• 要点 27：
• 要点 28：
• 要点 29：
• 要点 30：
• 要点 31：
• 要点 32：
• 要点 33：
• 要点 34：
• 要点 35：

2.3.2 全局最优 vs 局部最优

直觉/定义

凸：任意局部极小即全局极小；非凸：可能多个局部极小与鞍点。

在 ML 中用在哪里？

• 理解深度学习为何非凸仍可训练。

为什么需要？

• 形成正确的“收敛目标”预期与诊断方法。

要点速览（2.3.2）

• 要点 01：
• 要点 02：
• 要点 03：
• 要点 04：
• 要点 05：
• 要点 06：
• 要点 07：
• 要点 08：
• 要点 09：
• 要点 10：
• 要点 11：
• 要点 12：
• 要点 13：
• 要点 14：
• 要点 15：
• 要点 16：
• 要点 17：
• 要点 18：
• 要点 19：
• 要点 20：
• 要点 21：
• 要点 22：
• 要点 23：
• 要点 24：
• 要点 25：
• 要点 26：
• 要点 27：
• 要点 28：
• 要点 29：
• 要点 30：
• 要点 31：
• 要点 32：
• 要点 33：
• 要点 34：
• 要点 35：

2.3.3 拉格朗日乘子法

直觉/定义

把约束通过乘子融入目标，求解驻点条件。

核心公式（LaTeX）

$\mathcal{L}(\mathbf{x},\lambda)=f(\mathbf{x})+\lambda g(\mathbf{x}).$

在 ML 中用在哪里？

• PCA/SVM 推导；最大熵模型等。

为什么需要？

• 连接原问题与对偶问题的桥梁。

要点速览（2.3.3）

• 要点 01：
• 要点 02：
• 要点 03：
• 要点 04：
• 要点 05：
• 要点 06：
• 要点 07：
• 要点 08：
• 要点 09：
• 要点 10：
• 要点 11：
• 要点 12：
• 要点 13：
• 要点 14：
• 要点 15：
• 要点 16：
• 要点 17：
• 要点 18：
• 要点 19：
• 要点 20：
• 要点 21：
• 要点 22：
• 要点 23：
• 要点 24：
• 要点 25：
• 要点 26：
• 要点 27：
• 要点 28：
• 要点 29：
• 要点 30：
• 要点 31：
• 要点 32：
• 要点 33：
• 要点 34：
• 要点 35：
• 要点 36：
• 要点 37：
• 要点 38：
• 要点 39：
• 要点 40：

2.3.4 KKT 条件

直觉/定义

KKT 给出带不等式约束问题的最优性条件，包含互补松弛。

核心公式（LaTeX）

互补松弛：$\lambda_i g_i(\mathbf{x})=0.$

在 ML 中用在哪里？

• SVM 的支持向量机制解释。

为什么需要？

• 理解对偶、稀疏性与约束学习结构。

要点速览（2.3.4）

• 要点 01：
• 要点 02：
• 要点 03：
• 要点 04：
• 要点 05：
• 要点 06：
• 要点 07：
• 要点 08：
• 要点 09：
• 要点 10：
• 要点 11：
• 要点 12：
• 要点 13：
• 要点 14：
• 要点 15：
• 要点 16：
• 要点 17：
• 要点 18：
• 要点 19：
• 要点 20：
• 要点 21：
• 要点 22：
• 要点 23：
• 要点 24：
• 要点 25：
• 要点 26：
• 要点 27：
• 要点 28：
• 要点 29：
• 要点 30：
• 要点 31：
• 要点 32：
• 要点 33：
• 要点 34：
• 要点 35：
• 要点 36：
• 要点 37：
• 要点 38：
• 要点 39：
• 要点 40：

2.3.5 在 SVM 和正则化中的应用

直觉/定义

SVM 用最大间隔增强泛化，软间隔通过松弛变量处理噪声。

核心公式（LaTeX）

$\min \frac{1}{2}\|\mathbf{w}\|_2^2 + C\sum_i \xi_i \quad \text{s.t.}\quad y_i(\mathbf{w}^\top\mathbf{x}_i+b)\ge 1-\xi_i,\ \xi_i\ge 0.$

在 ML 中用在哪里？

• 经典分类器；核技巧扩展非线性。

为什么需要？

• 把“几何直觉”落到“可求解的凸优化”。

要点速览（2.3.5）

• 要点 01：
• 要点 02：
• 要点 03：
• 要点 04：
• 要点 05：
• 要点 06：
• 要点 07：
• 要点 08：
• 要点 09：
• 要点 10：
• 要点 11：
• 要点 12：
• 要点 13：
• 要点 14：
• 要点 15：
• 要点 16：
• 要点 17：
• 要点 18：
• 要点 19：
• 要点 20：
• 要点 21：
• 要点 22：
• 要点 23：
• 要点 24：
• 要点 25：
• 要点 26：
• 要点 27：
• 要点 28：
• 要点 29：
• 要点 30：
• 要点 31：
• 要点 32：
• 要点 33：
• 要点 34：
• 要点 35：

练习与思考（2.3 凸优化基础）

建议：先手算，再用 NumPy 验证。每题写出「结果 + 一句话解释」。

• 题 01：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 02：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 03：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 04：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 05：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 06：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 07：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 08：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 09：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 10：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 11：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 12：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 13：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 14：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 15：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 16：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 17：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 18：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 19：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 20：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 21：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 22：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 23：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 24：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 25：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 26：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 27：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 28：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 29：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 30：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 31：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 32：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 33：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 34：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 35：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 36：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 37：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 38：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 39：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 40：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 41：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 42：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 43：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 44：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 45：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 46：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 47：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 48：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 49：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 50：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 51：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 52：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 53：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 54：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 55：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 56：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 57：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 58：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 59：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 60：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 61：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 62：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 63：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 64：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 65：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 66：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 67：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 68：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 69：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 70：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 71：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 72：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 73：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 74：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 75：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 76：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 77：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 78：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 79：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

• 题 80：

  • 问题：
  • 关键公式：
  • NumPy 验证：
  • 在 ML 中的对应场景：

2.4 泰勒展开与近似

2.4.1 一阶与二阶泰勒展开

直觉/定义

泰勒展开提供局部近似：一阶切线，二阶考虑曲率。

核心公式（LaTeX）

$f(x)\approx f(x_0)+f^{\prime}(x_0)(x-x_0)+\frac{1}{2}f^{\prime\prime}(x_0)(x-x_0)^2.$

在 ML 中用在哪里？

• 二阶方法与损失面局部分析。

为什么需要？

• 解释“为什么梯度下降在某些区域慢/震荡”：因为曲率差异大。

要点速览（2.4.1）

• 要点 01：
• 要点 02：
• 要点 03：
• 要点 04：
• 要点 05：
• 要点 06：
• 要点 07：
• 要点 08：
• 要点 09：
• 要点 10：
• 要点 11：
• 要点 12：
• 要点 13：
• 要点 14：
• 要点 15：
• 要点 16：
• 要点 17：
• 要点 18：
• 要点 19：
• 要点 20：
• 要点 21：
• 要点 22：
• 要点 23：
• 要点 24：
• 要点 25：
• 要点 26：
• 要点 27：
• 要点 28：
• 要点 29：
• 要点 30：
• 要点 31：
• 要点 32：
• 要点 33：
• 要点 34：
• 要点 35：
• 要点 36：
• 要点 37：
• 要点 38：
• 要点 39：
• 要点 40：