Deep Learning for Nature Language Processing---第四讲(上)_deep learning for human language-程序员宅基地

技术标签: NLP  自然语言处理  

分类的基础知识和标记notation

采样采集到的数据集:

这里写图片描述

xi —输入. 例如 :单词(标号或向量vector),context windows,句子,文档等.
yi —标签. 例如:情感,其他的单词,命名实体(参照NER),买卖决断,以后还会涉及到: multi-­‐word sequences

分类 intuition

训练集:{xi,yi}Ni=1
简单模型:
1.分类固定的二位word vector
2.使用逻辑回归 Logistic Regression
3.示意图如下(线性决策线linear decision boundary):

这里写图片描述

一般情况下的ML:假定x是固定的,只训练逻辑回归的权重W.即修改decision boundary:这里写图片描述
数据集{xi,yi}Ni=1的loss function:

这里写图片描述
其中N为数据集的大小

其中:

这里写图片描述

regularization

regularization后的loss function:

这里写图片描述

当有非常多的特征features时,或者对于后面需要用到的深度学习模型,regularization有利于防止overfitting.

这里写图片描述
其中x轴正向代表更多的迭代次数或者更”深”的模型,蓝线代表训练误差,红线代表测试误差test error.

Classification difference with word vectors

一般的机器学习模型中, θ 只包括W(注意 θ 是一个列向量):

这里写图片描述

所以我们仅仅更新decision boundary:

这里写图片描述

而对于要训练权值W和X(word vector)的模型,既要更新word vector,也要更新decision boundary:

这里写图片描述

Loosing generalization by re-­‐training word vectors(应该是训练word vector会失去模型的泛化特性的意思)

示例:训练电影评论情感的逻辑回归模型:
1.在训练集中,有”TV”和”telly”.测试集中有”television”
2.初始设置(pre-training)的word vectors如图:

这里写图片描述

3.但是在训练之后:

这里写图片描述

从以上两张图中可以发现:训练集trainning set中的word vectors已经发生了改变.总结出两个技巧:1.若训练集小,不要训练word vectors.2.若训练集足够大,最好也训练word vectors.

课件上关于word vectors的一些标记notation

word vectors矩阵L也叫作look-up table
Word vectors = word embeddings = word representations (mostly)

这里写图片描述

图片上的标记notation大多来自word2vec或者glove,从现在开始用xword(words feature)类似的标记表示.
word vectors矩阵L通过与一个one-hot向量相乘得到一个word’s vector: x = Le (L为d*V矩阵,e为V*1向量)

Window classification(基于context window的分类)

主要思想:不同与只对单个单词分类,window classification通过给某个单词周围的词进行加窗处理,然后是分类这个单词
有一些加窗分类的方法.例如:对窗口里的所有word vector取平均,值,单这样会丢失必要的单词所在句子的位置信息.
idea:以下图的句子为例:给一个句子的最中间的词附上标签label.然后将之与周围单词的word vector联系起来,组成一个比xParis维度更高的的列向量xwindow(注意是一个列向量):

这里写图片描述

Simplest window classifer:Softmax(最简单的加窗分类:softmax)

和以前用的softmax一样,令x=xwindow即可:

这里写图片描述

Updating concatenated word vectors

标记:

这里写图片描述

一些技巧:
1.认真的定义变量,并且时刻注意其维度
2.记住连锁效应:

这里写图片描述

3.在对softmax进行求导时,先计算该输入对应的正确类别的倒数,在计算其他类别的倒数.
4.试着一次性对所有类别求导
5.学会自己定义新变量,对以后的运算很有用:

这里写图片描述
这里写图片描述

6.向量化:

这里写图片描述

7.一个简单的例子:下面运算后结果的维数是多少?

这里写图片描述

因为x是一个5 d*d的列向量(d为word vector的维数,参见加窗处理部分的word vectors矩阵L),所以对x进行求导后,结果的维数等于x的维数.
对context window里的所有单词的word vector进行求导,可以看成是对每个词的word vector求导的组合:

这里写图片描述

加窗的方法会帮助我们决断命名实体。比如对于句子:“museums in Paris are amazing”,我们就能学习到in后面可能是一个location。
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/meanme/article/details/46745821

智能推荐

斗地主——找出顺子的算法-程序员宅基地

文章浏览阅读2k次。1 static List<crads> shuen(List<crads> list) 2 { 3 List<crads> cList = new List<crads>(); 4 for (int i = 0; i < list.Count;++i) ...

Thinkpad T460P安装win7_t460p支持win7吗-程序员宅基地

文章浏览阅读2.1w次。Thinkpad T460P安装win7 Skylake平台装Windows7_t460p支持win7吗

百事可乐⋅顺风车⋅迷路⋅出租车_百事顺风车-程序员宅基地

文章浏览阅读1.4k次。亲身经历的四段小事,早想写出来,一直拖到现在。今日做个小记,待日后慢慢品味。百事可乐 09年年初初来京时,居住在一个偏僻的村子里,村子虽小,日常生活都可以在这里解决。当时收入不多,为了省钱,每天早晨都会去一家简陋的小馆子里吃“炸油饼”。去的多了,渐渐的就与馆子的老板_百事顺风车

Android请求网络数据,json解析-FastJson遇到的问题 首字母大写问题_android网络请求大小写问题-程序员宅基地

文章浏览阅读842次。在Android app开发过程中,用fastjson获取后台数据,后台返回的数据:[{"doseFrequencyList":[{"FrequencyCode":"ed","name":"每天","ordinal":"1"},{"FrequencyCode":"iod","name":"隔天","ordinal":"2"},{"FrequencyCode":"iow","name":"隔周","_android网络请求大小写问题

cheerio制作markDown索引目录_toc-wrapper-程序员宅基地

文章浏览阅读235次。原文链接:Bougie的博客 制作目录索引这种东西当然是放在前端方便。选择放在后端一是为了了解Node后端生态,掌握更多后端技术;二是因为公司实行前后端分离的方式开发,睾贵的JAVA后端经常啥也不做处理就返回一个row数据(甚至有时时间戳都不处理),对此有些无语。最终目标 1. 点击索引单项跳转到相应标题 2. 大号标题包含小号标题,小号标题向右缩进 3. 滚动页面时自..._toc-wrapper

RESTEasy:@FormParam、@PathParam、@QueryParam、@HeaderParam、@CookieParam、@MatrixPara-程序员宅基地

文章浏览阅读151次。介绍:In the first RESTEasy tutorial we have learnt the basics about REST Web services and we have tested a simple RESTful Web service. In this tutorial we willshow how to inject web application eleme..._@headerparam@queryparam

随便推点

山东春考计算机本科学校分数线,2016年山东春季高考各校计算机专业录取分数线分别是多少?...-程序员宅基地

文章浏览阅读1.4k次。2016年山东春季高考各校计算机专业录取分数线分别是多少?以下文字资料是由(历史新知网www.lishixinzhi.com)小编为大家搜集整理后发布的内容,让我们赶快一起来看一下吧!2016年山东春季高考各校计算机专业录取分数线分别是多少?2016年山东春季高考各校计算机专业录取分数线分别是多少?1、2016年全国各省份高考成绩及各批次控制分数线公布时间都集中在6月23-26日之间,预测的分数线..._山东滨州学院计算机专业春考本科分数线

Asp.net 2.0自定义控件(点击HyperLink后执行事件)[网友问题: DataList里HyperLink控件激发事件,在哪定义?]...-程序员宅基地

文章浏览阅读151次。(一). 概述HyperLink默认没有Click事件, 重写了一个HyperLink自定义控件. 实现原理: 默认Hyperlink是跳到点击请求的页面, 本HyperLink自定义控件最终也是跳转到请求的页面, 但期间执行了自己的一个方法, 我们可以在此方法中添写自己所需的功能. 本示例演示统计此超链接点击次数功能. [参考Asp.net 2.0高级编程](二). 代..._hyperlink控件后台点击方法

HBASE 启动报错 Can't get connection to ZooKeeper: KeeperErrorCode = ConnectionLoss for /hbase-程序员宅基地

文章浏览阅读9k次,点赞3次,收藏6次。查看防火墙状态$ service iptables status关闭防火墙$ service iptables stop查看防火墙状态$ service iptables status停止hbase$ stop-hbase.sh启动hbase$ start-hbase.sh_can't get connection to zookeeper: keepererrorcode = connectionloss for /hba

华为智慧屏鸿蒙系统手工升级,华为的“中场战事”:升级智能家居、推鸿蒙智慧屏,重构IoT赛道?...-程序员宅基地

文章浏览阅读324次。进一步切入全屋智能、大屏、车机等全场景。2020年,华为消费者业务的产品线纵深正进一步拓展。12月21日,华为面向家庭、出行场景正式发布了三大系列产品。其一是华为智能家居战略及全屋智能解决方案,顾名思义,是提升家居生活智能化的软硬件体系;其二是华为智慧屏S系列,搭载了鸿蒙OS最新版本,该系列是华为智慧屏家族的新成员,产品定位中低端市场,拥有55、65、75寸三种屏幕尺寸共6款机型;其三是车载智慧屏...

CMenu类中禁用/变灰某一项-程序员宅基地

文章浏览阅读322次。CMenu::EnableMenuItem启用、 禁用,或变暗的菜单项。UINT EnableMenuItem(UINT nIDEnableItem, UINT nEnable);参数nIDEnableItem根据所指定的菜单项,若要启用,nEnable。 弹出菜单项,以及标准菜单项,可以指定此参数。nEnable指定要执行的操作。 它可以是组合的M..._cmenu 菜单项置灰

php扩展memcached、memcache、redis的安装配置方法-程序员宅基地

文章浏览阅读167次。php连接memcached缓存服务器的客户端有两个,一个是memcache是比较底层的开发库,memcached是比较新的开发库,php安装这两个扩展中的任意一个后就可以在编写php代码时使用的memcached缓存数据,达到缓存php执行的结果1、安装memcachetar -zxvfmemcache-2.2.7.tgzcdmemcache-2.2.7/usr/loc..._群晖添加phpredis扩展

推荐文章

热门文章

相关标签