原文传送《Learning Loss for Active Learning》
本期分享是2019年发布在CVPR上的主动学习领域文章,《用学习损失来进行主动学习》,作者为来自韩国的Donggeun Yoo and In So Kewon.
论文引用和PDF地址在文末。
作者提出了一种通过预测模型预测误差来进行主动学习查询的方法,并用
三种任务进行性能评估。
深度神经网络的表现随着更多有标注的数据而得到提升。但问题随之而来,我们能够用于标注的预算往往有限,这样的有标注数据不能无限获得。一种解决这种困难的方法是进行主动学习,让模型向人类询问,给部分数据打上标签。近年来学者提出很多的方法使得主动学习可以应用到深度网络上,但是他们中大多数是为了特定的目标任务设定,或者在计算上缺乏效率。
这篇文章提出一种创新的主动学习方法,简单而且任务无偏(task-agnostic)的,也在对深度网络上很有效率。作者给目标网络(Target Network)附带了一个参数量很小的模块,“误差预测模块”,用于预测模型对无标签数据预测结果的损失值。接下来,这个模块可以找到那些倾向于被目标网络预测错误的无标签数据。这个方法是任务无偏的,因为这个思想只是学习一个单纯的损失,与具体目标没有关系。
作者在三类问题上和当前的网络结构进行对比实验,结果表示Learning Loss在这些问题上一致地超越了其他方法。
在这里,作者给出包含损失预测模块的主动学习方案的正式定义。
Notation | Explanation |
---|---|
Θ t a r g e t {\Theta _{target}} Θtarget | target model 目标模型 |
Θ l o s s {\Theta _{loss}} Θloss | loss prediction module 损失预测模块 |
y ^ = Θ t arg e t ( x ) \hat y = {\Theta _{t\arg et}}(x) y^=Θtarget(x) | 目标模型的预测值 |
l = L t a r g e t ( y ^ , y ) l = L_{target}(\hat y, y) l=Ltarget(y^,y) | 目标模型预测的损失 |
h h h | x x x的特征集合,是 Θ t a r g e t {\Theta _{target}} Θtarget隐藏层的中间特征 |
l ^ = Θ l o s s ( h ) \hat l = {\Theta _{loss}}(h) l^=Θloss(h) | 损失预测模块对损失的预测值 |
U N U_N UN | 无标签数据池 |
N N N | 无标签数据池的大小 |
K K K | 每一轮从无标签数据池中查询的个数 |
L K 0 L_K^0 LK0 | 初始有标签数据,即从 U N U_N UN均匀地抽 K K K个 |
U N − K 0 U_{N-K}^0 UN−K0 | 初始化后的无标签数据池 |
L ( T + 1 ) K T L_{(T+1)K}^T L(T+1)KT | T T T轮查询后的有标签数据集 |
U N − ( T + 1 ) K T U_{N-(T+1)K}^T UN−(T+1)KT | T T T轮查询后的无标签数据池 |
图(1)摘自原文,其中
(a)展示的是从输入数据Input到目标网络给出的Traget prediction和利用网络中间特征传入误差预测模块而给出的Loss prediction部分。
(b)图表示的是通过Loss prediction的大小关系,挑选出 U N − ( T ) K ( T − 1 ) U_{N-(T)K}^{(T-1)} UN−(T)K(T−1)误差预测最大的 K K K个无标签数据点,送给专家进行标注后归入 L ( T ) K ( T − 1 ) L_{(T)K}^{(T-1)} L(T)K(T−1)更新得到有标签数据集 L ( T + 1 ) K T L_{(T+1)K}^T L(T+1)KT和无标签数据集 U N − ( T + 1 ) K T U_{N-(T+1)K}^T UN−(T+
文章浏览阅读830次,点赞2次,收藏16次。 一、初识VBSVbs 是一种变量无关、解释性执行的脚本语言。vbs语言中不区分大小写。语句以换行结束。dim 声明变量;批量名称声明,多个变量之间用逗号分隔:set &..._vbs脚本语法
文章浏览阅读565次。actions和mutations交互时候,传递的是一个包含数据的对象。这个对象包含不同数据。eg.state.js: 保存数据const state = { foods: [], shops: []}export default state问题就是mutations.js里面:1.第二个参数foods是用{}包住,foods传递的是一个包含数据的对象。2.第二个...
文章浏览阅读1.3k次。1 BatchNorm1.1 实现Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shifthttp://d2l.ai/chapter_convolutional-modern/batch-norm.html?highlight=batchnorm2d import torch import torch.nn.functi..._f.batch_norm
文章浏览阅读6.6k次,点赞2次,收藏20次。vue3+ts+element-plus el-table组件二次封装(新增动态设置列的显示与隐藏并且可以随意拖地排序功能、改用vitepress编辑组件文档;新增了单元格编辑功能))新增了单元格编辑键盘事件及第三方组件事件功能;2023-06-08 TTable组件新增整行拖拽排序功能;TTable组件修复表头合并插槽使用失效;TTable组件单元格编辑新增表单校验功能/表格内操作按钮权限配置)新增展开行功能;2024-03-20 TTable组件新增新增第一列既显示(复选、单选)和序列号_vue3+ts+element plus封装表格
文章浏览阅读270次。1.制定好一下系统的学习规划,每天定量,学完什么知识点就掌握,能自己应用,而不是能看懂,写不出来东西。因为现在有很多人都是这样,表面上我是学会了,但是以上手去写但是怎么也写不出来。2.不要自己一个人闷头学,找一套质量不错的视频教程跟着去学习,听课的过程当中一定要把笔记记录下来。笔记当中只记忆重点的结论。把不懂的地方记下来,有时间就去解决。要学会在学习中记好笔记,一定要记得去复习。3.机会都是留给有准备的人,坚持每天学习也考验你的耐性和毅力,中途如果没有什么事情千万不能松懈,一天都不可以,保持一周6天的学_java自学怎样才能达到企业要求
文章浏览阅读2.2w次。1、首先需要理解async 和 await的基本含义 async 是一个修饰符,async 定义的函数会默认的返回一个Promise对象resolve的值,因此对async函数可以直接进行then操作,返回的值即为then方法的传入函数// 0. async基础用法测试async function fun0() { console.log(1) return 1}fun0().then( x => { console.log(x) }) // 输出结果 1,.._js await
文章浏览阅读473次,点赞2次,收藏5次。STM32创建新工程第一步下载固件包第二步创建工程第三步完成配置,修改main文件为空执行编译第一步下载固件包网址如下:1、Openedv:http://openedv.com/posts/list/6054.htm2、ST官网:https://www.stmcu.com.cn/Designresource/list/STM32F1/firmware_software/firmware_software固件库介绍:Libraries:CMSIS、STM32F10x_StdPeriph_Driv_菲斯塔固件
文章浏览阅读1.4k次。1.VMware必须设置成桥接模式,且要在“编辑-》虚拟网络编辑器”里指定桥接到HOST主机的物理网卡 2.Ubuntu虚拟机、HOST主机和目标开发板的IP必须在同一个网段 3.将网线连接开发板并上电,否则Ubuntu虚拟机的ifconfig不会显示已配置的网络设置..._ubuntu18 虚拟机连接开发板
文章浏览阅读377次。原帖地址:http://blog.csdn.net/phunxm/article/details/42174937/仅供我个人收藏学习,原博主如不同意请联系qq651263878进行删除,在此表示感谢以及歉意。1.iPhone尺寸规格后续上市的iPhone7以及iPhone7plus 与六代相同1 inch = 2.54cm = 25.4mm上表中的宽高(width/height)为手机的物理尺..._ios html注入屏幕尺寸适配
文章浏览阅读719次。教案与学生成果:制作电子贺卡狮山镇松岗中心小学 朱蔼玲【教学目的与要求】(1)、通过利用计算机制作贺卡,让学生理解、掌握并熟练运用word这一章的各知识点。(2)通过练习掌握word提供的强大的编辑功能,并能进行综合运用,完成贺卡的制作。(3)进一步熟练掌握用绘图工具绘制图形、文本框及自选图形的制作与修饰、艺术字的插入等操作。(4)通过制作电子贺卡,培养学生动手实践和主动探究的兴趣。为学生创造现代..._计算机作业电子贺卡
文章浏览阅读2.3k次,点赞3次,收藏15次。<!DOCTYPE html><html> <head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width,initial-scale=1.0"> <meta http-equiv="X-UA-Compatible" content="ie=edge"> <tit_html圆角矩形边框
文章浏览阅读568次。程序平时运行正常,每天总能出现几次,数据库链接不上异常,ORM 使用的是 iBatis ,那位兄弟遇到过呀?未经处理的异常: IBatisNet.DataMapper.Exceptions.DataMapperException: Unable to open connection to "ADO.Net driver for MySQL". ---> System.Security.Au..._为验证提供的消息或签名已被更改