【机器学习系列】概率图模型第一讲：从概率和图的角度理解概率图模型_CHEONG_KG的博客-程序员秘密
作者：CHEONG
公众号：AI机器学习与知识图谱
研究方向：自然语言处理与知识图谱
前言： 文中含有大量公式，若需获取本文全部的手书版原稿资料，扫码关注公众号【AI机器学习与知识图谱】，回复: 概率图模型第一讲 即可获取。可添加微信号【17865190919】进公众号讨论群，加好友时备注来自CSDN。原创不易，转载请告知并注明出处！
让我们进入正文。本文将从从概率和图两个角度先来理解一下概率图模型。
一、概率角度
首先从概率的角度看，概率问题关注什么？随机变量x服从何种概率分布，对于高维随机变量 p ( x 1 , x 2 , . . . , x p ) p(x_1, x_2, ..., x_p) p(x1,x2,...,xp)，如何求边缘概率分布 p ( x i ) p(x_i) p(xi)和条件概率分布 p ( x j ∣ x i ) p(x_j|x_i) p(xj∣xi)，使用两个基本法则是：
1、 加法法则：
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5pebrz7f-1615599578265)(file:///C:/Users/zl_sd/AppData/Local/Temp/msohtmlclip1/01/clip_image008.png)]](https://img-blog.csdnimg.cn/20210313094311980.png#pic_center)
2、 乘法法则：
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-8jNsPSMh-1615599578280)(file:///C:/Users/zl_sd/AppData/Local/Temp/msohtmlclip1/01/clip_image010.png)]](https://img-blog.csdnimg.cn/20210313094326689.png#pic_center)
概率中的运算都是基于上述两个简单的加法法则和乘法法则，由其衍生出来的两个重要的法则分别是：
1、链式法则：
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-VAreYpJc-1615599578287)(file:///C:/Users/zl_sd/AppData/Local/Temp/msohtmlclip1/01/clip_image012.png)]](https://img-blog.csdnimg.cn/20210313094345500.png#pic_center)
2、贝叶斯法则：
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-xPb7Ryc1-1615599578293)(file:///C:/Users/zl_sd/AppData/Local/Temp/msohtmlclip1/01/clip_image014.png)]](https://img-blog.csdnimg.cn/20210313094400183.png#pic_center)
但高维随机变量问题存在的困境是：维度高，计算复杂， p ( x 1 , x 2 , . . . , x p ) p(x_1, x_2, ..., x_p) p(x1,x2,...,xp)计算量太大，因此有以下三种简化方式，简化强度分别由强到弱为：相互独立假设、一阶马尔科夫假设和条件独立性假设。
1、相互独立假设：以朴素贝叶斯模型为代表，计算公式为：
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-N1YMFVGC-1615599578300)(file:///C:/Users/zl_sd/AppData/Local/Temp/msohtmlclip1/01/clip_image016.png)]](https://img-blog.csdnimg.cn/20210313094416155.png#pic_center)
2、一阶马尔科夫假设：即HMM模型中的齐次马尔科夫假设，放宽了相互独立假设条件，即随机变量 x i x_i xi 只和 x i − 1 x_{i-1} xi−1有关，和其他随机变量都不相关，公式表示为：
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-eDNDzydy-1615599578312)(file:///C:/Users/zl_sd/AppData/Local/Temp/msohtmlclip1/01/clip_image022.png)]](https://img-blog.csdnimg.cn/20210313094430131.png#pic_center)
3、条件独立性假设：又放宽了一阶马尔科夫假设，计算公式为：
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nyaxq8A3-1615599578318)(file:///C:/Users/zl_sd/AppData/Local/Temp/msohtmlclip1/01/clip_image024.png)]](https://img-blog.csdnimg.cn/20210313094440658.png#pic_center)
x A , x B , x C x_A,x_B,x_C xA,xB,xC都是集合且不相交，含义是在给定集合 x C x_C xC情况下，集合 x A x_A xA和集合 x B x_B xB相互独立。
注意： 条件独立性假设在图中有明显体现，在概率图中可以很清晰的判断出随机变量之间的条件独立性，不需要通过计算得出，相对于传统概率计算来说是概率图的一大优势所在。
二、图角度
从图的角度，分为图的表示Representation，推断Inference和学习Learning三个方面。
1、在Representation方面：图可分为有向图和无向图，有向图经典模型即贝叶斯网络，无向图经典模型即马尔科夫网络。这里提一个常用重要的概率图即高斯图，高斯和有向和无向概念结合又可分为高斯贝叶斯网络和高斯马尔科夫网络。
2、在Graph Inference方面：首先明白推断的含义是在给定已知数据情况下，求某些数据概率分布是什么。图的推断方法可分为精确推断和近似推断，近似推断又可分为确定性近似推断如变分推断和随机近似推断如MCMC。
3、在Graph Learning方面：图学习可分为两种：参数学习和结构学习，参数学习又分完备数据和隐变量两种，完备数据即不含有隐变量，隐变量学习一般用EM算法求解。结构学习即给定了数据前提下学习那种图结构更符合当前数据，再学习参数。
接下来章节将依次介绍有向图的因子分解和条件独立性，无向图的因子分解和条件独立性。
参考视频资料：【机器学习】【白板推导系列】 作者：shuhuai008
智能推荐
Kubernetes YAML 文件 详细解释_k8s yaml verbs:_张金玉的博客-程序员秘密
To deploy Dashboard, execute following commandkubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v1.10.1/src/deploy/recommended/kubernetes-dashboard.yaml[[email protected] kubeadm]#...
服务器的可维护性,可靠性和可维护性_平昭·南宫司卿的博客-程序员秘密
可靠性和可维护性可靠性一直是戴尔服务器产品线的一大亮点，R515也不例外。如内部结构所示，当你打开R515机箱的时候，你可以很明显地看到风扇的数量、分布的各个组件和双电源机箱。你也可以感觉出从中取出各个组件和拆装机箱都十分简便。配合低能耗处理器和DIMMS，R515能最大化的降低功耗，风扇也能根据服务器的工作量自动调整转速，尽可能的降低能源消耗。戴尔PowerEdge R515服务器内部结构通常情...
mybatis-spring-boot-starter 1.0.1 之后的版本问题_时间在这里停顿的博客-程序员秘密
mapper接口@MapperScanpublic interface PeopleMapper { @Select("SELECT * FROM people WHERE id = #{id}") People findById(@Param("id") int id); @Insert("INSERT INTO people(NAME, AGE) VALUES(#{name
Oracle中表添加带有默认值列的讨论（包括11G新特性）_iteye_19543的博客-程序员秘密
这个问题为什么要讨论呢，是有历史根源的，我们从Oracle 10G开始说起。在11G以前，一个大表，如果要添加一个新列，且新列有默认值，如果使用alter table xx add xx_1 number default 1000; 这类语句设置，那将非常杯具！cuug每周五晚8点都有免费网络课程，希望大家赶紧报名参加吧！它的动作其实就是，添加一个列，然后对这一列进行更新，如果这个表非常大...
<trim>: prefix+prefixOverrides+suffix+suffixOverrides_三味线的铲屎官的博客-程序员秘密
[html] view plain copytrim prefix="where" prefixOverrides="where" suffixOverrides="and"> if test="select_items != null"> ID = #{select_items,jdbcType=VARCHA
idea启动项目卡住_橘子汽水$的博客-程序员秘密
百度了许多，修改了两处，如下：1.在jdk安装目录配置编辑$JAVA_HOME/jre/lib/security/Java.security文件，将securerandom.source=file:/dev/random 换成 securerandom.source=file:/dev/urandom 即可2.在tomcat配置文件catalina.sh中修改tomcat的catalina.sh文件位于tomcat目录下的bin目录下，通过在catalina.sh文件添加 -Djava.securi
随便推点
GitHub上10个有趣的开源小游戏（附加在线演示）_MengYiKeNan的博客-程序员秘密
前言GitHub作为程序员们的开源宝库，有着很多非常好的项目。对于初学者来说，游戏有着一种特殊的魅力。今天统计了GitHub上比较有趣的10个开源小游戏，其中有许多可以称之为经典。笔者是一名90后，《贪吃蛇》、《坦克大战》、《超级马里奥》和《太空侵略者》作为儿时的玩伴，陪伴笔者度过了很多时光，给笔者带来了非常多的回忆。1、Pacman（吃豆人游戏）项目演示地址： https://passer-by.com/pacman/GitHub项目链接： https://github.com/mumuy/pa
rk3288 u-boot的logo显示过程_风见暗含的博客-程序员秘密
根据设备树 rockchip,uboot-logo-on = <1> 在u-boot中找到源码位置void board_fbt_preboot(void)int node = fdt_path_offset(gd->fdt_blob, “/fb”);g_logo_on_state = fdtdec_get_int(gd->fdt_blob, node, “rockch...
vue实战开发008:引入Font Awesome字体图标_vue引入font-awesome_ProgramNotes的博客-程序员秘密
今天在引用图标的时候发现Element-UI中的字体图标非常有限，我数了下当前只有70个可用字体图标，很难找到合适的字体图标使用，所以这里我准备引入Font Awesome字体图标,当前4.7版收录了675个字体图标可用，足够我们平时使用了。首先我们先来安装Font Awesome字体，在Font Awesome 4版本中，可以通过使用npm安装font-awesome依赖，我们要在终端...
windows 驱动开发(四)WDK源码 UsbSamp例子的编译及使用_放牛娃不吃草的博客-程序员秘密
转载请标明是引用于 http://blog.csdn.net/chenyujing1234参考文章: http://msdn.microsoft.com/zh-cn/library/windows/hardware/ff544747欢迎大家提出意见,一起讨论! 需要源码的请独与我联系.一、例子介绍 UsbSamp是你安装完WinDDK后自带的一个USB例子,
动态数组Array_array<int>^_Hummingbird_Joe的博客-程序员秘密
Array.h#ifndef ARRAY_H#define ARRAY_H#include<cassert>template<class T>class Array{ private: T * list;//T类型的指针，用于存放动态分配的数组首地址 int size; public: Array(int sz=50);//构造函数 Array(const Array<T>&a);//复制构造函数
Spring_Always_moving的博客-程序员秘密
Spring1、简介1.1、什么是SpringSpring是一个轻量级的**控制反转(IOC)和面向切面(AOP)**的容器框架。它是为了解决企业应用开发的复杂性而创建的Spring:春天------>给软件行业带来了春天!2002，首次推出了Spring框架的雏形: interface 21框架!Spring框架即以interface 21框架为基础,经过重新设计;并不断丰富其内涵,于2004年3月24日,发布了1.0正式版。Rod Johnson , Spring Framewo