CVPR 2021
此文只是概述,详细内容见文章。
论文
代码
在视频对象跟踪中,连续帧之间存在丰富的时序上下文,在现有的跟踪器中已大大忽略了这些上下文。在这项工作中,我们连接单个视频帧,并通过一个用于稳定的对象跟踪的transformer架构探索它们的时序上下文。与在自然语言处理(NLP)任务中使用Transformer的经典用法不同,我们将其编码器和解码器分为两个并行分支,并在类似于孪生网络的跟踪框架中精心设计它们。Transformer编码器通过基于注意力的特征增强来促进目标模板,这有利于高质量跟踪模型的生成。Transformer解码器将跟踪提示从先前的模板传播到当前帧,从而简化了对象搜索过程。我们的Transformer辅助跟踪框架整洁并以端到端的方式进行了训练。使用提出的Transformer,一种简单的连体匹配方法就可以胜过当前表现最佳的跟踪器。通过将我们的Transformer与最新的判别式跟踪方法相结合,我们的方法在流行的跟踪基准上创下了一些新的最新记录。
在详细说明我们用于对象跟踪的Transformer之前,为了完整性,我们简要回顾了最近流行的跟踪方法。如下图所示,孪生网络或判别相关滤波器(DCF)等主流跟踪方法可以表述为类似孪生的框架,其中顶部分支使用模板学习跟踪模型,底部分支专注于目标定位。
如下图。顶部:transformer编码器接收多个模板特征,以相互聚合表示。底部:transformer译码器将模板功能及其分配的掩码传播到search patch通道,以增强表示。
主流的跟踪方法可以制定成一个类似孪生的框架。 我们的目标是通过框架关系建模和时序上下文传播来改进这样一个通用的跟踪框架,而不修改它们最初的跟踪方式,如模板匹配。
类似于经典的transformer结构,编码器利用self-attention块来相互加强多个模板特征。在解码过程中,cross-attention块连接模板,搜索分支传播时序上下文(例如:feature and attention)
为了适应视觉跟踪任务,在以下几个方面对经典Transformer进行了修改:
最终得到S * final=Ins. Norm( S * feat +S * mask)
transformer结构通过生成高质量的模板特征编码Tencoded和搜索特征解码Sdecoded来促进跟踪过程。 我们按照两种流行的范例使用Tencoded来学习跟踪模型:
在在线跟踪过程中,为了更好地利用时序线索,适应目标外观变化,我们动态更新模板集成T。具体来说,我们删除T中最古老的模板,每5帧将当前收集到的模板特征添加到T中。该功能集成维护的最大大小为20个模板。一旦模板集成T得到更新,我们将计算通过transformer编码器编码的新编码特征Tencoded。虽然transformer编码器使用稀疏(即每5帧),但transformer解码器在每帧中被利用,它通过将表示和注意线索从以前的模板传播到当前搜索补丁来生成每帧解码Sdecoded。
人们普遍认为,DiMP中的DCF公式优于孪生网络跟踪器中的简单互相关。然而,在实验中表明,在本文的transformer体系结构的帮助下,一个经典的孪生框架能够对抗最近的DIMP。同时,通过本文的transformer,DiMP跟踪器获得了进一步的性能改进。
基于孪生网络匹配和基于DiMP的跟踪框架,在下面的实验中,我们将transformer辅助跟踪器分别表示为TrSiam和TrDiMP。
为了验证本文设计的transformer结构的有效性,选择了180个视频的GOT-10k测试集来验证我们的TrSiam和TrDiMP方法。
基于Siam和DIMP基线,验证了transformer中的每个组件:
将提出的TrSiam和TrdiMP跟踪器与最近最先进的跟踪器进行了比较,测试集包括TrackingNet, GOT-10k,LaSOT, VOT2018, Need for Speed, UAV123,和OTB-2015。
TrackingNet
GOT-10k
LaSOT
VOT2018
NfS,UAV23,OTB2015 datasets in terms of AUC score
详细分析见文章
ps:本人学疏才浅,若有不对的地方,请及时与我联系,进行更改。
文章浏览阅读3.6k次,点赞2次,收藏2次。DELL7080台式机两块硬盘。_没有u盘怎么装ubuntu
文章浏览阅读32次。题面Bessie wants to navigate her spaceship through a dangerous asteroid field in the shape of an N x N grid (1 <= N <= 500). The grid contains K asteroids (1 <= K <= 10,000), which are conv...
文章浏览阅读2.6w次,点赞21次,收藏112次。机器视觉则主要是指工业领域视觉的应用研究,例如自主机器人的视觉,用于检测和测量的视觉系统等。它通过在工业领域将图像感知、图像处理、控制理论与软件、硬件紧密结合,并研究解决图像处理和计算机视觉理论在实际应用过程中的问题,以实现高效的运动控制或各种实时操作。_工业机器视觉系统的构成与开发过程(理论篇—1
文章浏览阅读5.9w次,点赞32次,收藏58次。legend 传奇、图例。plt.legend()的作用:在plt.plot() 定义后plt.legend() 会显示该 label 的内容,否则会报error: No handles with labels found to put in legend.plt.plot(result_price, color = 'red', label = 'Training Loss') legend作用位置:下图红圈处。..._plt.legend
文章浏览阅读2.2k次,点赞3次,收藏11次。深入理解 C# .NET Core 中 async await 异步编程思想引言一、什么是异步?1.1 简单实例(WatchTV并行CookCoffee)二、深入理解(异步)2.1 当我需要异步返回值时,怎么处理?2.2 充分利用异步并行的高效性async await的秘密引言很久没来CSDN了,快小半年了一直在闲置,也写不出一些带有思想和深度的文章;之前就写过一篇关于async await 的异步理解 ,现在回顾,真的不要太浅和太陋,让人不忍直视!好了,废话不再啰嗦,直入主题:一、什么是异步?_netcore async await
文章浏览阅读6.5w次,点赞166次,收藏309次。当我看到别人的类上面的多行注释是是这样的:这样的:这样的:好装X啊!我也想要!怎么办呢?往下瞅:跟着我左手右手一个慢动作~~~File--->Settings---->Editor---->File and Code Templates --->Includes--->File Header:之后点applay--..._idea作者和日期等注释
文章浏览阅读175次。Netperf是一种网络性能的测量工具,主要针对基于TCP或UDP的传输。Netperf根据应用的不同,可以进行不同模式的网络性能测试,即批量数据传输(bulk data transfer)模式和请求/应答(request/reponse)模式。工作原理Netperf工具以client/server方式工作。server端是netserver,用来侦听来自client端的连接,c..._netperf 麒麟
文章浏览阅读1.1k次,点赞2次,收藏3次。作者| qcrao责编 | 屠敏出品 | 程序员宅基地刚开始写这篇文章的时候,目标非常大,想要探索 Go 程序的一生:编码、编译、汇编、链接、运行、退出。它的每一步具体如何进行,力图弄清 Go 程序的这一生。在这个过程中,我又复习了一遍《程序员的自我修养》。这是一本讲编译、链接的书,非常详细,值得一看!数年前,我第一次看到这本书的书名,就非常喜欢。因为它模仿了周星驰喜剧..._go run 每次都要编译吗
文章浏览阅读1.4k次,点赞4次,收藏2次。0、C++的输入输出分为三种:(1)基于控制台的I/O (2)基于文件的I/O (3)基于字符串的I/O 1、头文件[cpp] view plaincopyprint?#include 2、作用istringstream类用于执行C++风格的字符串流的输入操作。 ostringstream类用_c++ istringstream a >> string
文章浏览阅读2k次,点赞3次,收藏14次。我们在每个修改的地方都记录一条对应的 redo 日志显然是不现实的,因此实现方式是用时间换空间,我们在数据库崩了之后用日志还原数据时,在执行这条日志之前,数据库应该是一个一致性状态,我们用对应的参数,执行固定的步骤,修改对应的数据。1,MySQL 就是通过 undolog 回滚日志来保证事务原子性的,在异常发生时,对已经执行的操作进行回滚,回滚日志会先于数据持久化到磁盘上(因为它记录的数据比较少,所以持久化的速度快),当用户再次启动数据库的时候,数据库能够通过查询回滚日志来回滚将之前未完成的事务。_binglog
文章浏览阅读3k次。概述之前介绍过 移动Web开发基础-flex弹性布局(兼容写法) 里面有提到过想做一个Chrome插件,来生成flexbox布局的css代码直接拷贝出来用。最近把这个想法实现了,给大家分享下。play-flexbox插件介绍play-flexbox一秒搞定flexbox布局,可直接预览效果,拷贝CSS代码快速用于页面重构。 你也可以通过点击以下链接(codepen示例)查_chrome css布局插件
文章浏览阅读308次。我自己的配置是GeForce GTX 1660 +CUDA10.0+CUDNN7.6.0 + TensorFlow-GPU 1.14.0Win10系统安装tensorflow-gpu(按照步骤一次成功)https://blog.csdn.net/zqxdsy/article/details/103152190环境配置——win10下TensorFlow-GPU安装(GTX1660 SUPER+CUDA10+CUDNN7.4)https://blog.csdn.net/jiDxiaohuo/arti