【2】Triplet loss通常是在个体级别的细粒度识别上应用,传统的分类是花鸟够的大类别的识别,但是有些需求要精确到个体级别,比如精确到哪一个人的人脸识别,所以triplet loss的最主要应用也就是face identification、person re-identification、vehicle re-identification的各种identification问题上。这个loss虽然很好,但是用起来真的很烦,而且不太好理解。最近一直被这个题目困扰,搜了一下,又看到metric learning和circle loss之类的词汇,真是一口老血,学无止境啊。
philipperemy deep-speaker有实现一种简单的实现方法Lazy Triplet Loss,实测有效,但是如果要精调模型,或者想获得更加深入理解TripletLoss,这显然是不能满足要求的。这个方法大底是即基于easy triplets公式来实现的。在诉说为啥叫lazy之前,先回顾一下triplets的基本概念。
triplets三胞胎的大哥刘备a是anchor,是扛把子baseline;二弟关羽p是positive,处处要学着a争取跟a一模一样;三弟张飞n是negative,处处要跟a对着干,离得越远越好。
distance作为评判这三兄弟的关系,其实就是二弟、三弟和哥哥靠的近不近,这个和谐的兄弟关系应该是这样: d ( a , p ) d(a,p) d(a,p)越近越好, d ( a , n ) d(a,n) d(a,n)越远越好,怎么个好法呢?需要一个诸葛亮 m a r g i n margin margin来搅和一下
诸葛亮刚来,觉得大哥和二弟关系太近,搅和了一下,争取平和一下刘关张的关系:
L = M A X ( d ( a , p ) − d ( a , n ) + m a r g i n , 0 ) L=MAX(d(a,p)-d(a,n) + margin, 0) L=MAX(d(a,p)−d(a,n)+margin,0)
d ( a , p ) + m a r g i n < d ( a , n ) d(a,p)+margin<d(a,n) d(a,p)+margin<d(a,n),那么Max算子肯定取0了。这时候说明刘备a和关羽p哥俩好的像一个人似的,基本没张飞n啥事,诸葛亮 m a r g i n margin margin上来也没办法疏远,那么此时的情况天下太平。当然这种case也没有用。
在诸葛亮margin的成功搅和下,关羽和刘备疏远了, d ( a , p ) + m a r g i n > d ( a , n ) d(a,p)+margin>d(a,n) d(a,p)+margin>d(a,n),但诸葛亮不在的时候两个人还可以 d ( a , p ) < d ( a , n ) d(a,p)<d(a,n) d(a,p)<d(a,n),按照通用的公式来就是 d ( a , p ) + m a r g i n > d ( a , n ) > d ( a , p ) d(a,p)+margin>d(a,n)>d(a,p) d(a,p)+margin>d(a,n)>d(a,p)。这种情况如果神经网络不处理,就会演变成下面的极端情况。
d ( a , p ) > d ( a , n ) d(a,p)>d(a,n) d(a,p)>d(a,n),不管有没有诸葛亮,关羽和刘备都闹掰了,这个时候有故事看了,需要神经网络来调理调理。
到此用三国人物来大致调侃了一下triplets的概念,主要为了加深理解。
理想的分类模型应该是这样,所有的关系都满足easy triplets,这时候就没有必要训练了,这组数据集合经过embedding,分类效果杠杆滴,t-sne图上同类散点紧密簇在一起,感官上很完美;退而求其次就是semi-hard triplets,其实这种模型也不错,类间距总是大于类内距,t-sne图上同类散点基本上簇在一起,但是在实际应用中容易受到噪声的干扰,少部分离散点跑到别的类上去了;那么最后一种hard triplets就很容易理解了,无法准确的分辨出类别,t-sne散点图糊了。都解释的这么直白了,triplets的终极目标,没有hard,尽量少semi,最好都easy。
Lazy Triplets Loss最投机取巧的办法是:
虽然训练结果还不错,但是从机制上不够严谨,应该在batch筛选上再下功夫。
在DeepLearning的世界里,每次我想结束一个议题的时候,结果是又推开了另一扇门,就比如说这个triplets loss已经让我毛发稀疏了,本来希望通过一遍笔记收敛这个话题,搞一个终极解决方案出来,结果发现这个triplets loss的mining非常深奥,往前一探,就是度量学习,翻了翻这块的东西,我觉得还是先关上它,聚焦到triplet mining上,争取找到一个比lazy更好的策略,提高embedding的分离度。面对浩如烟海、日新月易的AI世界,无力感满满,还好有无数的先行者为后面的人开辟了道路,不至于每件事情从头做,为了能取得更好的结果,翻了一下本站,发现Triplet-Loss原理及其实现、应用翻译Triplet Loss and Online Triplet Mining in TensorFlow并用numpy重写了里面的方法,因为采用了mask的办法,使得满足easy条件的数据不会再被选中,这样可以进一步的提高后期的训练效率,这个方法值得一试,但要确认好不好用得花点时间。参考中的最后一篇对loss有更多的介绍,肯定要仔细研究,但不是现在,留个彩蛋吧。
本章剩下的部分就是讨论triplets batch策略,这个与之前的均方差,交叉熵等等最大的区别是:筛选过程可能要走一遍inference,这样才能得到要度量的结果,提前签知道哪些属于easy,没必要进training,既费时有费事。而且每个epoch训练完,上一次easy的可能这次就semi或者hard了,三者的关系随着每个epoch动态变化,咔咔,想想就头大。不妨再回顾一下Triplet Loss and Online Triplet Mining in TensorFlow提到的策略,有了我这么多铺垫,应该就不难理解了。
根据上节提到的三种loss度量,训练中需要选取hard和semi-hard的train sets,丢弃easy的train sets,一般分为offline和online两种策略。
Offline就是训练完一个epoch之后,下一个epoch之前,将train sets所有的数据做一遍inference,根据inference得来的embedding计算满足hard和semi-hard的结果,计算最后的triplets loss平均值,启动下一个epoch的training。脑补一下计算量和麻烦的程度,就是知道这个虽然很理想主义,单不靠谱。所以Offline策略只是个策略,没见人用的。
Online是各大论文采用和研究的主题,主导思想就是定义好了batchsize,每次启动下一个epoch之前,提取batch,将满足要求(hard、semihard)的loss拿来计算,训练再次走起,很显然这个方法loss似乎更加显著,而且人工干预少。In Defense of the Triplet Loss for Person Re-Identification先假设一个输入的batchsize B = P K , P = P e r s o n N u m b e r , K = I m a g e N u m b e r f o r t h i s p e r s o n B=PK, P=Person Number, K = Image Number for this person B=PK,P=PersonNumber,K=ImageNumberforthisperson具体的策略还分为如下:
人名 | 空 | 刘备 | 刘备 | 关羽 | 关羽 | 关羽 | 张飞 | 张飞 | 张飞 |
---|---|---|---|---|---|---|---|---|---|
空 | 空 | d(a,p) | d(a,p) | d(a,n) | d(a,n) | d(a,n) | d(a,n) | d(a,n) | d(a,n) |
刘备 | anchor1 | anchor2 | anchor3 | anchor1 | anchor2 | anchor3 | anchor1 | anchor2 | anchor3 |
刘备 | anchor2 | anchor1 | anchor3 | anchor1 | anchor2 | anchor3 | anchor1 | anchor2 | anchor3 |
刘备 | anchor3 | anchor1 | anchor2 | anchor1 | anchor2 | anchor3 | anchor1 | anchor2 | anchor3 |
关羽 | anchor1 | ||||||||
关羽 | anchor2 | ||||||||
关羽 | anchor3 | ||||||||
张飞 | anchor1 | ||||||||
张飞 | anchor2 | ||||||||
张飞 | anchor3 |
论文说batch Hard好,那接下来就研究如何mine一下自己的triplet,希望能比lazy好点。
1.philipperemy deep-speaker
2.Triplet loss学习笔记
3.Deep Metric Learning
4.周志华《Machine Learning》学习笔记(12)–降维与度量学习
5.【论文笔记4】深入理解行人重识别网络的Loss
文章浏览阅读2w次,点赞7次,收藏51次。四个步骤1.创建C++ Win32项目动态库dll 2.在Win32项目动态库中添加 外部依赖项 lib头文件和lib库3.导出C接口4.c#调用c++动态库开始你的表演...①创建一个空白的解决方案,在解决方案中添加 Visual C++ , Win32 项目空白解决方案的创建:添加Visual C++ , Win32 项目这......_c#调用lib
文章浏览阅读4.6k次。苹方字体是苹果系统上的黑体,挺好看的。注重颜值的网站都会使用,例如知乎:font-family: -apple-system, BlinkMacSystemFont, Helvetica Neue, PingFang SC, Microsoft YaHei, Source Han Sans SC, Noto Sans CJK SC, W..._ubuntu pingfang
文章浏览阅读159次。表单表单概述表单标签表单域按钮控件demo表单标签表单标签基本语法结构<form action="处理数据程序的url地址“ method=”get|post“ name="表单名称”></form><!--action,当提交表单时,向何处发送表单中的数据,地址可以是相对地址也可以是绝对地址--><!--method将表单中的数据传送给服务器处理,get方式直接显示在url地址中,数据可以被缓存,且长度有限制;而post方式数据隐藏传输,_html表单的处理程序有那些
文章浏览阅读1.2k次。使用说明:开启Google的登陆二步验证(即Google Authenticator服务)后用户登陆时需要输入额外由手机客户端生成的一次性密码。实现Google Authenticator功能需要服务器端和客户端的支持。服务器端负责密钥的生成、验证一次性密码是否正确。客户端记录密钥后生成一次性密码。下载谷歌验证类库文件放到项目合适位置(我这边放在项目Vender下面)https://github.com/PHPGangsta/GoogleAuthenticatorPHP代码示例://引入谷_php otp 验证器
文章浏览阅读4.3k次,点赞5次,收藏11次。matplotlib.plot画图横坐标混乱及间隔处理_matplotlib更改横轴间距
文章浏览阅读2.2k次。①Storage driver 处理各镜像层及容器层的处理细节,实现了多层数据的堆叠,为用户 提供了多层数据合并后的统一视图②所有 Storage driver 都使用可堆叠图像层和写时复制(CoW)策略③docker info 命令可查看当系统上的 storage driver主要用于测试目的,不建议用于生成环境。_docker 保存容器
文章浏览阅读834次,点赞27次,收藏13次。网络拓扑结构是指计算机网络中各组件(如计算机、服务器、打印机、路由器、交换机等设备)及其连接线路在物理布局或逻辑构型上的排列形式。这种布局不仅描述了设备间的实际物理连接方式,也决定了数据在网络中流动的路径和方式。不同的网络拓扑结构影响着网络的性能、可靠性、可扩展性及管理维护的难易程度。_网络拓扑csdn
文章浏览阅读1.8k次,点赞5次,收藏8次。IOS系统Date的坑要创建一个指定时间的new Date对象时,通常的做法是:new Date("2020-09-21 11:11:00")这行代码在 PC 端和安卓端都是正常的,而在 iOS 端则会提示 Invalid Date 无效日期。在IOS年月日中间的横岗许换成斜杠,也就是new Date("2020/09/21 11:11:00")通常为了兼容IOS的这个坑,需要做一些额外的特殊处理,笔者在开发的时候经常会忘了兼容IOS系统。所以就想试着重写Date函数,一劳永逸,避免每次ne_date.prototype 将所有 ios
文章浏览阅读5.3k次。方法一:用PLSQL Developer工具。 1 在PLSQL Developer的sql window里输入select * from test for update; 2 按F8执行 3 打开锁, 再按一下加号. 鼠标点到第一列的列头,使全列成选中状态,然后粘贴,最后commit提交即可。(前提..._excel导入pl/sql
文章浏览阅读83次。Git常用命令速查手册1、初始化仓库git init2、将文件添加到仓库git add 文件名 # 将工作区的某个文件添加到暂存区 git add -u # 添加所有被tracked文件中被修改或删除的文件信息到暂存区,不处理untracked的文件git add -A # 添加所有被tracked文件中被修改或删除的文件信息到暂存区,包括untracked的文件...
文章浏览阅读202次。分享119个ASP.NET源码总有一个是你想要的_千博二手车源码v2023 build 1120
文章浏览阅读1.8k次。版权声明:转载请注明出处 http://blog.csdn.net/irean_lau。目录(?)[+]1、缺省构造函数。2、缺省拷贝构造函数。3、 缺省析构函数。4、缺省赋值运算符。5、缺省取址运算符。6、 缺省取址运算符 const。[cpp] view plain copy_空类默认产生哪些类成员函数