NLP面试学习 3 — 概率图模型

内容分享2小时前发布

0 0 0

一、概率图模型

1. 概率图模型的基本思想

概率图模型是一种用图结构来表示随机变量之间依赖关系的工具。它的核心思想是：

用节点表示一个随机变量（一组变量）用边表示变量之间的概率依赖关系

概率图模型描述了：联合概率分布在所有随机变量上能够分解为一组因子乘积的形式，而每个因子只依赖与随机变量的一个子集。

如何理解以上的这句话？假设现在有三个变量：

A：小偷是否光顾你家（是/否）B：你的狗是否叫（是/否）C：报警器是否响（是/否）

不使用概率图模型：需要建立联合分布 P(A,B,C)P(A,B,C)P(A,B,C) 。如果每个变量有2种状态，那么这个联合概率分布表需要 23=82^3=823=8 个概率值。

使用概率图模型：根据常识设计图结构：小偷导致报警器响，报警器导致狗叫。那么有 A→C→BA
ightarrow C
ightarrow BA→C→B 。

这个图有一个隐含着条件独立性假设：狗叫与否 B 只与报警器 C 有关，和小偷 A 是无关的，那么我们的联合概率公式可以进一步简化。

这时，我们就将一个联合概率分解成 3 个因子：

P(A)P(A)P(A) -> 只依赖与子集 {A} -> 1 个参数P(C∣A)P(C|A)P(C∣A) -> 只依赖于子集 {A,C} -> 2 个参数（A 的 2 个状态下，C 的条件概率：2个）P(B∣C)P(B|C)P(B∣C) -> 只依赖于子集 {B,C} -> 2 个参数（C 的 2 个状态下，B 的条件概率：2个）

使用概率图模型后，模型参数更少、更容易估计，而且更清晰的表达了该问题。

总结：

联合概率分布：待建模、解决的复杂问题分解为因子乘积：将复杂问题转换成简单问题的组合每个因子只依赖于变量的一个子集：每个问题只涉及一部分变量

2. 概率图模型基本概念

考虑三个随机变量A,B,C，其联合分布概率为：

首先通过对 P(A,B,C)P(A,B,C)P(A,B,C) 的分解，隐式的选择了一个特定的顺序：A→B→CA
ightarrow B
ightarrow CA→B→C 。对于每个不同的顺序，其分解方式都不同。对每个随机变量引入一个节点，为每个结点关联对应的条件概率。例如对于 P(C∣A,B)P(C|A,B)P(C∣A,B)，我们分别添加 A→CA
ightarrow CA→C 和 B→CB
ightarrow CB→C 的两条边。如果存在一个节点 A 到节点 B 的边，那么我们称 A 是 B 的父节点，B 是 A 的子节点。