【主动学习论文】Learning Loss for Active Learning, CVPR 2019-程序员宅基地

技术标签: 机器学习  主动学习  深度学习  

Learning Loss for Active Learning

原文传送《Learning Loss for Active Learning》

本期分享是2019年发布在CVPR上的主动学习领域文章,《用学习损失来进行主动学习》,作者为来自韩国的Donggeun Yoo and In So Kewon.

论文引用和PDF地址在文末。

作者提出了一种通过预测模型预测误差来进行主动学习查询的方法,并用

  • Image Classification(图像分类)
  • Object Detection(目标检测)
  • Human Pose Estimation(人体姿态估计)

三种任务进行性能评估。

1 Abstract

深度神经网络的表现随着更多有标注的数据而得到提升。但问题随之而来,我们能够用于标注的预算往往有限,这样的有标注数据不能无限获得。一种解决这种困难的方法是进行主动学习,让模型向人类询问,给部分数据打上标签。近年来学者提出很多的方法使得主动学习可以应用到深度网络上,但是他们中大多数是为了特定的目标任务设定,或者在计算上缺乏效率

这篇文章提出一种创新的主动学习方法,简单而且任务无偏(task-agnostic)的,也在对深度网络上很有效率。作者给目标网络(Target Network)附带了一个参数量很小的模块,“误差预测模块”,用于预测模型对无标签数据预测结果的损失值。接下来,这个模块可以找到那些倾向于被目标网络预测错误的无标签数据。这个方法是任务无偏的,因为这个思想只是学习一个单纯的损失,与具体目标没有关系。

作者在三类问题上和当前的网络结构进行对比实验,结果表示Learning Loss在这些问题上一致地超越了其他方法。

2 Contributions

  1. Proposing a simple but efficient active laerning method with the loss prediction module, which is directly applicable to any takss with recent deep networks.
  2. 借用损失预测模块提出了一个简单但是高效的主动学习方法,它可以直接应用到任何使用深度网络的任务上。
  3. Evaluating the proposed method with three learning tasks including classification, regression, and a hybrid of them, by using current network architectures.
  4. 文章使用了三个学习任务对新方法进行测评,包括回归问题,分类问题以及回归和分类问题的混合。

3 Method

3.1 Overview

在这里,作者给出包含损失预测模块的主动学习方案的正式定义。

Notation Explanation
Θ t a r g e t {\Theta _{target}} Θtarget target model 目标模型
Θ l o s s {\Theta _{loss}} Θloss loss prediction module 损失预测模块
y ^ = Θ t arg ⁡ e t ( x ) \hat y = {\Theta _{t\arg et}}(x) y^=Θtarget(x) 目标模型的预测值
l = L t a r g e t ( y ^ , y ) l = L_{target}(\hat y, y) l=Ltarget(y^,y) 目标模型预测的损失
h h h x x x的特征集合,是 Θ t a r g e t {\Theta _{target}} Θtarget隐藏层的中间特征
l ^ = Θ l o s s ( h ) \hat l = {\Theta _{loss}}(h) l^=Θloss(h) 损失预测模块对损失的预测值
U N U_N UN 无标签数据池
N N N 无标签数据池的大小
K K K 每一轮从无标签数据池中查询的个数
L K 0 L_K^0 LK0 初始有标签数据,即从 U N U_N UN均匀地抽 K K K
U N − K 0 U_{N-K}^0 UNK0 初始化后的无标签数据池
L ( T + 1 ) K T L_{(T+1)K}^T L(T+1)KT T T T轮查询后的有标签数据集
U N − ( T + 1 ) K T U_{N-(T+1)K}^T UN(T+1)KT T T T轮查询后的无标签数据池

图片来自论文

Figure1 A novel active learning method with a loss prediction module

图(1)摘自原文,其中

  • (a)展示的是从输入数据Input到目标网络给出的Traget prediction和利用网络中间特征传入误差预测模块而给出的Loss prediction部分。

  • (b)图表示的是通过Loss prediction的大小关系,挑选出 U N − ( T ) K ( T − 1 ) U_{N-(T)K}^{(T-1)} UN(T)K(T1)误差预测最大的 K K K个无标签数据点,送给专家进行标注后归入 L ( T ) K ( T − 1 ) L_{(T)K}^{(T-1)} L(T)K(T1)更新得到有标签数据集 L ( T + 1 ) K T L_{(T+1)K}^T L(T+1)KT和无标签数据集 U N − ( T + 1 ) K T U_{N-(T+1)K}^T UN(T+

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/DWBI_mlgroup/article/details/107642950

智能推荐

VBS基本语法_vbs脚本语法-程序员宅基地

文章浏览阅读830次,点赞2次,收藏16次。 一、初识VBSVbs 是一种变量无关、解释性执行的脚本语言。vbs语言中不区分大小写。语句以换行结束。dim 声明变量;批量名称声明,多个变量之间用逗号分隔:set &..._vbs脚本语法

Vuex笔记(三)--- actions和mutations交互时候,传递的是一个包含数据的对象-程序员宅基地

文章浏览阅读565次。actions和mutations交互时候,传递的是一个包含数据的对象。这个对象包含不同数据。eg.state.js: 保存数据const state = { foods: [], shops: []}export default state问题就是mutations.js里面:1.第二个参数foods是用{}包住,foods传递的是一个包含数据的对象。2.第二个...

pytorch中的batch_norm, instance_norm, layer_norm, group_norm_f.batch_norm-程序员宅基地

文章浏览阅读1.3k次。1 BatchNorm1.1 实现Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shifthttp://d2l.ai/chapter_convolutional-modern/batch-norm.html?highlight=batchnorm2d import torch import torch.nn.functi..._f.batch_norm

vue3+ts+element-plus el-table组件二次封装(2024-03-20 TTable组件新增新增第一列既显示(复选、单选)和序列号)_vue3+ts+element plus封装表格-程序员宅基地

文章浏览阅读6.6k次,点赞2次,收藏20次。vue3+ts+element-plus el-table组件二次封装(新增动态设置列的显示与隐藏并且可以随意拖地排序功能、改用vitepress编辑组件文档;新增了单元格编辑功能))新增了单元格编辑键盘事件及第三方组件事件功能;2023-06-08 TTable组件新增整行拖拽排序功能;TTable组件修复表头合并插槽使用失效;TTable组件单元格编辑新增表单校验功能/表格内操作按钮权限配置)新增展开行功能;2024-03-20 TTable组件新增新增第一列既显示(复选、单选)和序列号_vue3+ts+element plus封装表格

如何系统的学习Java达到工作要求?_java自学怎样才能达到企业要求-程序员宅基地

文章浏览阅读270次。1.制定好一下系统的学习规划,每天定量,学完什么知识点就掌握,能自己应用,而不是能看懂,写不出来东西。因为现在有很多人都是这样,表面上我是学会了,但是以上手去写但是怎么也写不出来。2.不要自己一个人闷头学,找一套质量不错的视频教程跟着去学习,听课的过程当中一定要把笔记记录下来。笔记当中只记忆重点的结论。把不懂的地方记下来,有时间就去解决。要学会在学习中记好笔记,一定要记得去复习。3.机会都是留给有准备的人,坚持每天学习也考验你的耐性和毅力,中途如果没有什么事情千万不能松懈,一天都不可以,保持一周6天的学_java自学怎样才能达到企业要求

JS中的async/await的用法和理解_js await-程序员宅基地

文章浏览阅读2.2w次。1、首先需要理解async 和 await的基本含义 async 是一个修饰符,async 定义的函数会默认的返回一个Promise对象resolve的值,因此对async函数可以直接进行then操作,返回的值即为then方法的传入函数// 0. async基础用法测试async function fun0() { console.log(1) return 1}fun0().then( x => { console.log(x) }) // 输出结果 1,.._js await

随便推点

STM32F10X新建工程步骤_菲斯塔固件-程序员宅基地

文章浏览阅读473次,点赞2次,收藏5次。STM32创建新工程第一步下载固件包第二步创建工程第三步完成配置,修改main文件为空执行编译第一步下载固件包网址如下:1、Openedv:http://openedv.com/posts/list/6054.htm2、ST官网:https://www.stmcu.com.cn/Designresource/list/STM32F1/firmware_software/firmware_software固件库介绍:Libraries:CMSIS、STM32F10x_StdPeriph_Driv_菲斯塔固件

Ubuntu虚拟机连接开发板网络设置_ubuntu18 虚拟机连接开发板-程序员宅基地

文章浏览阅读1.4k次。1.VMware必须设置成桥接模式,且要在“编辑-》虚拟网络编辑器”里指定桥接到HOST主机的物理网卡 2.Ubuntu虚拟机、HOST主机和目标开发板的IP必须在同一个网段 3.将网线连接开发板并上电,否则Ubuntu虚拟机的ifconfig不会显示已配置的网络设置..._ubuntu18 虚拟机连接开发板

html5开发之ios屏幕适配,iOS开发屏幕尺寸以及屏幕适配等问题(转载内容)-程序员宅基地

文章浏览阅读377次。原帖地址:http://blog.csdn.net/phunxm/article/details/42174937/仅供我个人收藏学习,原博主如不同意请联系qq651263878进行删除,在此表示感谢以及歉意。1.iPhone尺寸规格后续上市的iPhone7以及iPhone7plus 与六代相同1 inch = 2.54cm = 25.4mm上表中的宽高(width/height)为手机的物理尺..._ios html注入屏幕尺寸适配

计算机制作贺卡教案,教案与学生成果:制作电子贺卡-程序员宅基地

文章浏览阅读719次。教案与学生成果:制作电子贺卡狮山镇松岗中心小学 朱蔼玲【教学目的与要求】(1)、通过利用计算机制作贺卡,让学生理解、掌握并熟练运用word这一章的各知识点。(2)通过练习掌握word提供的强大的编辑功能,并能进行综合运用,完成贺卡的制作。(3)进一步熟练掌握用绘图工具绘制图形、文本框及自选图形的制作与修饰、艺术字的插入等操作。(4)通过制作电子贺卡,培养学生动手实践和主动探究的兴趣。为学生创造现代..._计算机作业电子贺卡

html-1 圆角边框的常用写法_html圆角矩形边框-程序员宅基地

文章浏览阅读2.3k次,点赞3次,收藏15次。<!DOCTYPE html><html> <head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width,initial-scale=1.0"> <meta http-equiv="X-UA-Compatible" content="ie=edge"> <tit_html圆角矩形边框

mysql 有链接不上去_求助:MySQL 出现间歇性链接不上~~-程序员宅基地

文章浏览阅读568次。程序平时运行正常,每天总能出现几次,数据库链接不上异常,ORM 使用的是 iBatis ,那位兄弟遇到过呀?未经处理的异常: IBatisNet.DataMapper.Exceptions.DataMapperException: Unable to open connection to "ADO.Net driver for MySQL". ---> System.Security.Au..._为验证提供的消息或签名已被更改

推荐文章

热门文章

相关标签