1.随机事件与概率¶
约 2662 个字 预计阅读时间 9 分钟
随机试验¶
通过研究随机试验来研究随机现象。随机试验既包括科学实验，也包括对某一事物的某一特征的观察。
随机试验 \(E\) 满足以下三个条件：
-
试验可以在相同条件下重复进行；
-
每次试验的可能结果不止一个，并且能事先明确试验的所有可能结果；
-
进行一次试验之前不能确定哪一个结果会出现
样本空间¶
样本空间：随机试验所有可能结果组成的集合，记为 \(S\) 或 \(\Omega\)
样本点：随机试验的每个结果，称为样本点，记为 \(e\)
样本空间 \(S\) 是由全体样本点 \(e\) 构成的集合： \(S=\{e\}\)
随机事件¶
在实际中，进行 \(E\) 时，我们只关心样本空间中发生的一部分的事件。这就引出了随机事件这一概念。
随机事件：样本空间 \(S\) 的子集称为 \(E\) 的随机事件，用 \(A,B\) 等表示，简称事件
事件发生：在每次试验中，当且仅当随机事件中的一个样本点出现，称此事件发生（否则随机事件不发生）
基本事件：由一个样本点组成的单点集称为基本事件
必然事件：样本空间 \(S\) 包含所有样本点在每次试验中它总发生，故称为必然事件
不可能事件：空集 \(\phi\) 不包含任样本点在每次试验中都不发生，称为不可能事件
事件间的关系及运算法则¶
- 包含关系 \(A \subset B\)
- 相等关系 \(A=B\)，或有 \(A\subset B \;and\;B\subset A\)
- 互斥关系 \(AB=\phi\)
- 对立关系 \(AB=\phi\), \(A\cup B=\Omega\)
两互逆事件又称对立事件。
运算可以分为和、交、差、逆运算。
和、交、逆事件有如下运算规律：
- 交换律：\(A\cup B=B\cup A\;,\;A\cap B=B\cap A\)；
- 结合律：\(A\cup(B\cup C)=(A\cup B)\cup C\;,\;A(BC)=(AB)C\)；
- 分配律：\(A(B\cup C)=(AB)\cup(AC)\;,\;(AB)\cup C=(A\cup C)(B\cup C)\)；
- 对偶律 / 德摩根定律(De Morgan's law)：\(\overline{\bigcup^n_{j=1}A_j}=\bigcap^n_{j=1}\overline{A_j}\;,\;\overline{\bigcap^n_{j=1}A_j}=\bigcup^n_{j=1}\overline{A_j}\)
事件运算顺序约定为先进行逆运算，然后进行交运算，最后进行并或差运算。
频率和概率¶
频率：在相同条件下进行 \(n\) 次试验中事件 \(A\) 发生的频数，比值 \(\frac{n_A}{n}\) 称为事件 \(A\) 发生的频率，记为 \(f_n(A)\)
当 \(n\rightarrow +\infty\) 时，\(f_n(A)\) 会稳定与某个确定的常数。称为频率的稳定性。也是随机现象的统计规律性。
概率的公理化定义：设 \(E\) 是随机试验， \(S\) 是它的样本空间。对于 \(E\) 的每一个事件 \(A\) 赋予一个实数，记为 \(P(A)\)，如果集合函数 \(P( \cdot )\) 满足下列条件：
- 非负性：对每一个事件 \(A\)，有 \(P(A)\geq0\)
- 规范性：对必然事件 \(S\)，有 \(P(S)=1\)
- 可列可加性：设 \(A_1,A_2,\dots,A_n,\dots\) 是两两互不相容的事件，有： \(P(A_1 \cup A_2 \cup \dots \cup A_n \cup \dots)=P(A_1)+P(A_2)+\dots +P(A_n)+\dots\)
概率的重要性质：
- \(P(\phi)=0\)
- 有限可加性：设 \(A_1,A_2,\dots,A_n\) 是两两互不相容的事件，即 \(A_iA_j=\phi,i\neq j, \ i,j=1,2,\dots,n\)，有 \(P(A_1 \cup A_2 \cup \dots \cup A_n)=P(A_1)+P(A_2)+\dots +P(A_n)\)
- 减法公式：设 \(A,B\) 是任意两个事件，则 \(P(A-B)=P(A)-P(AB)\)
- 单调性：设 \(A,B\) 是两个事件，若 \(B\subset A\)，则 \(P(A-B)=P(A)-P(B), \ P(A)\geq P(B)\)
- 有界性：对任一事件\(A\)，有 \(P(A)\leq1\)
- 逆事件概率：对任一事件 \(A\)，有 \(P(\bar A)=1-P(A)\)
- 加法公式：对于任意两个事件 \(A,B\)，有 \(P(A\cup B)=P(A)+P(B)-P(AB)\)
这些性质都可以通过公理化定义推出。
古典概型¶
加法原理，乘法原理，排列：\(P^m_n=\frac{n!}{(n-m)!}\)，可重复排列：\(N=n\times n\times \dots n=n^m\)，组合：\(C^m_n= \tbinom{n}{m}=\frac{P^m_n}{m!}=\frac{n!}{m!(n-m)!}\)。
古典概型
若随机试验 \(E\) 满足：
- 样本空间 \(S\) 只含有有限个样本点， \(S=\{e_1,e_2,\dots,e_n\}\)
- 每个基本事件（样本点）发生的可能性相同
则称此随机试验的概率模型为等可能模型，也称为古典概型。
古典概型中，事件 \(A=\{e_{i1},e_{i2},\dots,e_{i_k}\}\)发生的概率为：
几何概型¶
若随机试验 \(E\) 满足：
- 样本空间 \(S\) 是 \(R^n\) 中的一个可度量的几何区域；
- 每个样本点出现的概率相等，即样本点落入 \(S\) 某一可度量的子区域 \(A\) 的可能性大小与 \(A\) 的几何度量（长度，面积，体积）成正比，而与 \(A\) 的位置及形状无关。
那么事件 \(A={\text{样本点落入区域A}}\) 的概率为
条件概率¶
这一部分主要关注规范性的写法，对后续的全概率公式、贝叶斯公式的推导理解有重要作用。
定义：设 \(A,B\) 是两个事件，且 \(P(A)>0\)，称 \(P(B|A)=\frac{P(AB)}{P(A)}\) 为在事件 \(A\) 发生的条件下事件 \(B\) 发生的条件概率。
-
\(P(AB)\) 是在样本空间为 \(S\) 时， \(A,B\) 同时发生的可能性
-
\(P(B|A)\) 则表示在 \(A\) 发生的条件下，\(B\) 发生的可能性。此时的样本空间为 \(A\) 而不再是 \(S\)
条件概率的性质
当 \(P(A)>0\) 时，
- \(P(B|A)\geq0\)
- \(P(S|A)=1,P(\phi|A)=0\)
- \(P(B\cup C \ | \ A) = P(B|A)+P(C|A)-P(BC|A)\)
- \(P(B-C|A)=P(B|A)-P(BC|A)\)
- \(P(\bar B |A)=1-P(B|A)\)
乘法公式
将上面条件概率公式变形，可以得到：
同样，若 \(P(B)>0\)，有 \(P(AB)=P(B)P(A|B)\)
推广：若 \(P(AB)>0\)，则有 \(P(ABC)=P(A)P(B|A)P(C|AB)\)
设 \(A_1,A_2,\cdots,A_n\) 为 \(n\) 个事件， \(n\geq2\)，且 \(P(A_1A_2\cdots A_{n-1})>0\)，则有：
需要注意 \(i<j\) ， \(A_i\) 先于 \(A_j\) 发生
全概率公式¶
样本空间的划分：设 \(S\) 为试验 \(E\) 的样本空间， \(B_1,B_2,\cdots,B_n\) 为 \(E\) 的一组事件。若
- \(B_iB_j=\phi(i\neq j)\)
- \(B_1 \cup B_2 \cup \cdots \cup B_n=S\)
则称 \(B_1,B_2,\cdots,B_n\) 为样本空间 \(S\) 的一个划分（完备事件组）。对每次实验，事件\(B_1,B_2,\cdots,B_n\) 中必有一个且仅有一个发生。
全概率公式：设试验 \(E\) 的样本空间为 \(S\)，\(A\) 为 \(E\) 的事件，\(B_1,B_2,\cdots,B_n\)为 \(S\) 的一个划分，且 \(P(B_i)>0\)，则
可以通过 \(P(A)=P(AS)\) 然后拆分 \(S\) 进行推导。由互不相容，可以得到 \(\sum^n_{i=1}P(AB_i)\) 进而得到全概率公式。
贝叶斯公式¶
全概率事件求得是 \(P(A)\)，贝叶斯公式求的是 \(P(B_i|A)\)。我们可以通过全概率公式来推导贝叶斯公式。
观察可以发现，分母为全概率公式，分子是分母中的某一项。
一道贝叶斯公式的典型例题：
设第一个是红球的概率为 \(A\)，取到第 \(i\) 个盒子的概率为 \(B_i\)，然后用贝叶斯公式做
下面进行更普遍的贝叶斯公式的介绍。
贝叶斯公式基本定义：
其中：
- \(P(A|B)\)：在已知事件 B 发生的情况下，事件 A 发生的条件概率。
- \(P(B|A)\)：在已知事件 A 发生的情况下，事件 B 发生的条件概率。
- \(P(A)\)：事件 A 发生的先验概率。
- \(P(B)\)：事件 B 发生的边缘概率。
边缘概率：
边缘概率描述了某一随机事件发生的概率，不考虑与其他随机事件的关联。例如，两个随机变量 \(X\) 和 \(Y\) 的边缘概率为：
\(P(X=x) = \sum_{y} P(X=x, Y=y)\)
扩展的贝叶斯公式：
当面对一组互斥且完备的事件 \(B_1, B_2, ... B_n\) 时，特定事件 \(B_i\) 在已知某事件 \(A\) 发生的情况下的条件概率为：
其中：
- \(P(A)\)：在任何 \(B_i\) 发生的情况下，事件 \(A\) 发生的总概率。
- \(P(A) = \sum^n_{j=1}P(B_j)\cdot P(A|B_j)\)：所有可能的 \(B_j\) 导致事件 \(A\) 的总概率。
也就是说，拓展情况下，分母把普遍情况下的 \(P(A)\) 拆分开来。这里也可以直接理解为 \(P(A)\) 的概率。
- 基本贝叶斯公式：
- 具体意义：描述了两个事件的条件概率关系。它在概率论和统计学中都是非常基础的，适用于任何两个事件之间的关系。
-
应用范围：非常广泛，适用于各种情境，不仅限于互斥和完备的事件集。
-
扩展的贝叶斯公式：
- 具体意义：用于处理一组互斥且完备的事件情境，为给定的证据提供了每个特定假设的条件概率。
- 应用范围：特定于互斥且完备的事件集的问题，如分类任务、医学诊断、多分类问题等。
应用
- 贝叶斯统计：贝叶斯公式允许我们结合观测数据（似然）和先验信念（先验概率）来更新我们的信念（后验概率）。
- 例子：在医学诊断中，存在多种可能的疾病导致某一症状，我们可以使用贝叶斯公式计算在已知某症状的情况下，患有某一特定疾病的概率。
独立性¶
设 \(A,B\) 为两个事件，如果其中任何一个事件发生的概率不受另一个事件发生与否的影响，则称事件 \(A\) 与 \(B\) 相互独立。
如果有两事件相互独立，则有：
这另外可以推出 \(P(B|A)=P(B)\)
独立与互不相容没有关系。独立的事件可能同时发生（例如，在两次有放回的抽牌中都抽到红色牌，因为两次抽牌事件互不影响），而互不相容的事件则不能（一张牌不能同时是红色和黑色）。
必然事件以及不可能事件与任意事件相互独立。
若事件 \(A,B\) 相互独立，那么 \(A\) 与 \(\bar B\) 等四种情况都相互独立。
\(n\) 个试验的独立性
定义：设 \(A_1,A_2,\cdots,A_n\) 是 \(n \ (n\geq 2)\) 个事件，如果对于其中任意 \(2\) 个，\(3\) 个 \(\cdots\) \(n\) 个事件的概率都等于各事件概率的乘积，则称事件 \(A_1,A_2,\cdots,A_n\) 相互独立。