9

【CRF】理论篇

 3 years ago
source link: https://www.guofei.site/2017/11/13/conditionalrandomfield.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

【CRF】理论篇

2017年11月13日

Author: Guofei

文章归类: 2-1-有监督学习 ，文章编号: 280

版权声明：本文作者是郭飞。转载随意，但需要标明原文链接，并通知本人
原文链接：https://www.guofei.site/2017/11/13/conditionalrandomfield.html

Edit

阅读本文前，请先保证已经了解马尔科夫过程、graph

模型介绍

条件随机场(conditional random field， CRF)1

与其他模型的关系

每一个HMM模型都等价于某个CRF2

svm2

概率图分为两类：

  1. 有向图。（贝叶斯网络，信念网络）3
  2. 无向图。（马尔科夫随机场，马尔科夫网络）

基础定义

概率图模型(probabilistic graphical model)用graph表示概率分布。4
在无向图[Math Processing Error]G=(V,E)上，每个节点[Math Processing Error]v∈V对应一个随机变量[Math Processing Error]Yv，每个边[Math Processing Error]e∈E对应随机变量之间的关系。

进而定义三个概念：

  1. 成对马尔科夫性(pairwise Markov property)
  2. 局部马尔科夫性(local Markov property)
  3. 全局马尔可夫性(global Markov property)
成对马尔科夫性 [Math Processing Error]u,v是无向图G上任意两个不相邻的结点，其它所有结点是O.[Math Processing Error]P(Yu,Yv∣YO)=P(Yu∣YO)P(Yv∣YO) 局部马尔可夫性 [Math Processing Error]v是G上一个结点，[Math Processing Error]W是与[Math Processing Error]v相连的所有结点，[Math Processing Error]O是[Math Processing Error]v,W外的所有结点。[Math Processing Error]P(Yv,YO∣YW)=P(Yv∣YW)P(YO∣YW) 全局马尔可夫性 [Math Processing Error]A,B,C⊂V是点集，A,B被C分开。[Math Processing Error]P(YA,YB∣YC)=P(YA∣YC)P(YB∣YC)

实际上，成对马尔科夫性、局部马尔可夫性、全局马尔可夫性是等价的。

一个概率图模型 ，如果满足马尔可夫性（成对、局部、全局），叫做 概率无向图模型（probability undirected graphical model），或者 马尔科夫随机场（Markov random field）

因子分解

C是无向图G的子图，如果C是完全图，叫做一个 团(clique)。
如果一个团不能再加入任何一个结点，叫做 最大团（maximal clique）

给定概率无向图模型，可以分解成所有 最大团 C的乘机形式，也就是说[Math Processing Error]P(Y)=1Z∏CΨC(YC),
其中，Z是规范化因子[Math Processing Error]Z=∑Y∏CΨC(YC)
其中，[Math Processing Error]Ψ(YC)称为势函数，势函数是严格正函数。
（通常，可以这么定义[Math Processing Error]ΨC(YC)=exp⁡(−E(YC))）

Hammersley-Clifford定理：对于任意概率无向图，都可以做上述因子分解。

参考资料

  1. https://www.zhihu.com/question/35866596 ↩

  2. http://blog.csdn.net/a819825294/article/details/53893231 ↩

  3. http://www.jianshu.com/p/55755fc649b1 ↩

  4. 李航：《统计学习方法》 ↩

您的支持将鼓励我继续创作！

report

Recommend

About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK