概率图模型
Probabilistic Graphical Model PGM
简单来说,PGM 是用 节点表示随机变量,边表示变量之间的依赖关系 ,通过图的结构将复杂的联合概率分布进行可视化和高效建模。
如果变量之间的关系很复杂,直接建模这个分布非常困难。
概率图模型的核心思想是:
- 通过图的结构描述哪些变量之间是直接相关的,哪些是条件独立的。
- 利用条件独立性,简化联合概率分布的建模和推断。
基本分类
类型 | 图结构 | 分解形式 | 应用场景 |
---|---|---|---|
贝叶斯网络 | 有向图 | 因果关系,条件概率表 | 时间序列、诊断系统 |
马尔可夫随机场 | 无向图 | 势函数、局部团 | 图像处理、空间建模 |
有向图模型(贝叶斯网络)
- 节点: 随机变量
- 边: 有向边,表示因果关系或条件依赖关系
其中
- 适合描述因果关系
- 推断速度快
- 易于表示时间序列(如 HMM)
无向图模型(马尔可夫随机场)
- 节点: 随机变量
- 边: 无向边,表示相互依赖关系(但不强调因果顺序)
-
:势函数,定义 clique(团)内变量的关系 -
:归一化因子(配分函数) -
强调局部依赖
-
适合表达对称关系(如图像、空间数据)
-
推断相对复杂