pytorch动态调整学习率之Multistep策略-程序员宅基地

技术标签: 深度学习  pytorch  Multistep策略  学习率  动态学习率  

    在过去的文章中讲到学习率的动态调整问题,同时在《影响网络模型性能的主要因素》这篇文章中提到,根据经验学习率的调整最好的方法是Step和Multistep,已经讲过了epoch_step策略,下来讲一下Multistep策略。

    首先讲一下Step和Multistep的区别。这两种方法都是step对学习率进行操作,但是二者还是有一定的区别的。最主要的区别就是:Step策略是根据固定的步长对学习率进行调整,而Multistep策略则是根据非均匀步长对学习率进行调整。一般情况下,这两种方法都是根据步长对学习率进行降低操作。Multistep策略需要指定每次降低学习率的间隔,比如在迭代10、15、25、30次后对学习率进行必要的调整,可以在此四次调整过程中学习率降低为原来的0.1倍。

    pytorch提供了此方法的接口,具体代码如下所示:

model = ANet(classes=5)     #加载模型
optimizer = optim.SGD(params = model.parameters(), lr=0.05)   #优化方法使用SGD

#在指定的epoch值,如[10,15,25,30]处对学习率进行衰减,lr = lr * gamma
scheduler = lr_scheduler.MultiStepLR(optimizer, milestones=[10,152530], gamma=0.1)

    Multistep策略其实本质上就是分段函数的计算方法,可以根据所需要的迭代次数自由修改milestones的值,如milestones=[100,500,2000]。如上程序学习率的下降趋势如下图所示。
在这里插入图片描述

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/guzhao9901/article/details/116484887

智能推荐

JAVA、GO、大数据、算法工程师、程序员自学网站推荐_java大数据网站推荐-程序员宅基地

文章浏览阅读5k次。JAVA、大数据、算法工程师程序员自学网站推荐慕课网慕课网,大概在14年的时候学长推荐给我看的,当时在学长的公司实习(做安卓开发),在里面学到了很多东西。这个网站当时对我的帮助挺大的,里面有很多免费的课程,也有很多付费的课程。如果你没有特殊的需求,一般免费课程就够自己学的了。https://www.imooc.com/哔哩哔哩不得不说哔哩哔哩上面的学习资源还是很多的,现在有很多年轻人都在上面学习呢!哈哈哈 大部分年轻人最爱的小破站可是受到过央视表扬的。被誉为年轻人学习的首要阵地。像尚硅谷、黑_java大数据网站推荐

vue制作优雅的拟态化微立体计算器_点击“计算”按钮,将所得的结果展示在id为result的span中-程序员宅基地

文章浏览阅读1.4k次。一.话不多,先看效果: 这个效果是我在b站看到一个up写的,感觉拟态化微立体效果很简约却又有种优雅的感觉。????而优雅又怎么能缺了我, <( ̄︶ ̄)> ,所以话不多说,自己马上也整了一个,实现并不难,超详细的制作过程如下(最后附上完整代码):二.超级详细的制作过程:1.首先自然是定义html标签(先别理标签里的vue语法),我定义一个父盒子.calculator,然后定义一个span标签放计算结果,其它按钮都用button标签包裹。计算器的布局采用grid布局,所以在每个按钮里绑定属性_点击“计算”按钮,将所得的结果展示在id为result的span中

IOS分层架构设计-程序员宅基地

文章浏览阅读245次。_ios分层

西安计算机三本院校排名2015,2015年陕西三本院校排名-程序员宅基地

文章浏览阅读179次。2015年陕西三本院校排名据统计,2014年陕西三本院校排名 12所独立学院 7所民办高校,以下的排名情况仅供参考:陕西独立学院排名12所1.西安交通大学城市学院(母体学校为985和211)。2.西北大学现代学院(母体学校为211,文科较强)3.西安建筑科技大学华清学院(土建类专业强)4.西北工业大学明德学院(母体学校实力强,)5.西安科技大学高新学院(西安人数最多独立学院,)6.陕西科技大学镐京..._西安计算机学校最专业的三本学校

计算机网络实验报告 三层交换机,网络实验报告 路由器配置-程序员宅基地

文章浏览阅读2.3k次。课程名称 计算机网络 实验名称 路由器的配置 姓 名 学 号 专业班级,实验日期 成 绩 指导老师,一、实验目的,1,2,3,4.理解动态路由协议OSPF 的基本特点和分组类型,5.学会在路由器(三层交换机)上查看、分析路由表的方法,二、实验设备,静态路由配置..._计算机网络技术三层交换机实训报告

libcurl 使用 https 时切换 ip 遇到的问题-程序员宅基地

文章浏览阅读156次。1 问题由来开发的产品使用到的某服务器后台接口,因为业务的特殊性,在常规的host访问失败时,需要前端再使用指定的ip访问,而且是https。开始使用ip访问https的首要问题就是证书验证流程。在提出此需求时,后台同学给了一份阿里云的参考:HTTPS(含SNI)业务场景“IP直连”方案说明 。此中提到的例子是Andriod和ios上的应用,方案就是在使用的对应库中修改https的证书验证过..._libcurl curlopt_resolve

随便推点

静默DBCA创建数据库时遭遇模板不存在问题-程序员宅基地

文章浏览阅读425次。【问题描述】使用Oracle 10g的dbca.rsp文件静默创建数据库的时候遭遇模板不存在的问题[oracle@newadm database]$ dbca -silent -responseFile /home/oracle/database/response/dbca.rspTemplate General Purpose does not exist. Please speci..._database configuration assistant提示general_purpose.dbc不存在

BLESS的安装---一个问题recompile with -fPIC的解决_recompile with fpic-程序员宅基地

文章浏览阅读853次。BLESS安装方法首先新建一个目录mkdir bless_c++cd bless_c++然后把源码克隆到本地git clone https://github.com/thirtyeggs/bless.git进入目录,执行编译cd blessmake -j8编译报错mpicxx kmc/kmc_api/kmc_file.o kmc/kmc_api/kmer_api.o kmc/kmc_api/mmer.o murmurhash3/MurmurHash3.o check_inputs._recompile with fpic

什么是MVVM,MVC和MVVM的区别,MVVM框架VUE实现原理_vue是基于mvvm模式实现的框架,请简述什么是mvvm模式?-程序员宅基地

文章浏览阅读529次。MVVM定义MVVM是Model-View-ViewModel的简写。即模型-视图-视图模型。【模型】指的是后端传递的数据。【视图】指的是所看到的页面。【视图模型】是mvvm模式的核心,它是连接view和model的桥梁。它有两个方向:一是将【模型】转化成【视图】,即将数据转化成所看到的页面。实现的方式是:数据绑定。二是将【视图】转化成【模型】,即将所看到的页面转化成数据。实现的方式是:DOM..._vue是基于mvvm模式实现的框架,请简述什么是mvvm模式?

java模拟post请求上传文件到另一远程接口(content-type:multipart/form-data)_request.addheader("content-type", "multipart/form--程序员宅基地

文章浏览阅读5.5k次,点赞3次,收藏6次。在开发过程中,我需要调用另一文件上传接口,该接口要求是post提交,content-type:multipart/form-data,因此首先将文件写入本地存储路径,并将该文件按照post传输,代码如下,亲测成功:public static String sendPostWithFile(File lrcFile, String urlStr) throws Exception{ ..._request.addheader("content-type", "multipart/form-data; boundary=-----------

9102了,你还不会移动端真机调试?_chrome手机真机调试-程序员宅基地

文章浏览阅读1.8w次,点赞5次,收藏31次。移动端调试困难很多时候,我们在进行移动端开发时,都是先在PC端使用手机模拟器进行调试,没有问题后,我们才会在手机端的浏览器进行测试,这个时候,如果没有出现问题,皆大欢喜。但是一旦出现问题,我们就很难解决,因为缺乏可视化的界面。不似在PC端,我们能直观的去改变样式,或者是进行断点调试。有时,在移动端我们不得不借助于alert来调试,但是这样的调试方法效率极其低下,很多时候,都是靠经验,或者是靠排除法。_chrome手机真机调试

ajax请求路径的动态获得_ruoyi框架ajxs请求地址怎么动态获取-程序员宅基地

文章浏览阅读2.5k次。首先在各位阅读本篇博客之前先声明一下,因为我的代码功底还不是很好,所以写出来的代码会比较零散,没有严谨的逻辑,如果各位大佬发现了什么需要修改的地方,欢迎各位大佬批评指教(抱拳)首先上代码:HTML部分:&lt;div class="left-menu-3"&gt; &lt;div class="left-menu-third"&gt;&..._ruoyi框架ajxs请求地址怎么动态获取

推荐文章

热门文章

相关标签