原文翻译自:Deep Learning with PyTorch: A 60 Minute Blitz
翻译:林不清(https://www.zhihu.com/people/lu-guo-92-42-88)
60分钟入门PyTorch(二)——Autograd自动求导
60分钟入门Pytorch(三)——神经网络
60分钟入门PyTorch(四)——训练一个分类器
torch.autograd是pytorch自动求导的工具,也是所有神经网络的核心。我们首先先简单了解一下这个包如何训练神经网络。
背景介绍
神经网络(NNs)是作用在输入数据上的一系列嵌套函数的集合,这些函数由权重和误差来定义,被存储在PyTorch中的tensors中。
神经网络训练的两个步骤:
前向传播:在前向传播中,神经网络通过将接收到的数据与每一层对应的权重和误差进行运算来对正确的输出做出最好的预测。
反向传播:在反向传播中,神经网络调整其参数使得其与输出误差成比例。反向传播基于梯度下降策略,是链式求导法则的一个应用,以目标的负梯度方向对参数进行调整。
更加详细的介绍可以参照下述地址:
[3Blue1Brown]:
https://www.youtube.com/watch?v=tIeHLnjs5U8
Pytorch应用
来看一个简单的示例,我们从torchvision加载一个预先训练好的resnet18模型,接着创建一个随机数据tensor来表示一有3个通道、高度和宽度为64的图像,其对应的标签初始化为一些随机值。
%matplotlib inline
import torch, torchvision
model = torchvision.models.resnet18(pretrained=True)
data = torch.rand(1, 3, 64, 64)
labels = torch.rand(1, 1000)
接下来,我们将输入数据向输出方向传播到模型的每一层中来预测输出,这就是前向传播。
prediction = model(data) # 前向传播
我们利用模型的预测输出和对应的权重来计算误差,然后反向传播误差。完成计算后,您可以调用.backward()并自动计算所有梯度。此张量的梯度将累积到.grad属性中。
loss = (prediction - labels).sum()
loss.backward() # 反向传播
接着,我们加载一个优化器,在本例中,SGD的学习率为0.01,momentum 为0.9。我们在优化器中注册模型的所有参数。
optim = torch.optim.SGD(model.parameters(), lr=1e-2, momentum=0.9)
最后,我们调用.step()
来执行梯度下降,优化器通过存储在.grad
中的梯度来调整每个参数。
optim.step() #梯度下降
现在,你已经具备了训练神经网络所需所有条件。下面几节详细介绍了Autograd包的工作原理——可以跳过它们。
Autograd中的求导
先来看一下autograd
是如何收集梯度的。我们创建两个张量a和b并设置requires_grad = True以跟踪它的计算。
import torch
a = torch.tensor([2., 3.], requires_grad=True)
b = torch.tensor([6., 4.], requires_grad=True)
接着在a
和b
的基础上创建张量Q
Q = 3*a**3 - b**2
假设a
和b
是一个神经网络的权重,Q
是它的误差,在神经网络训练中,我们需要w.r.t参数的误差梯度,即
当我们调用Q
的.backward()
时,autograd计算这些梯度并把它们存储在张量的 .grad
属性中。我们需要在Q.backward()
中显式传递gradient
,gradient
是一个与Q
相同形状的张量,它表示Q w.r.t本身的梯度,即
Q
聚合为一个标量并隐式向后调用,如
Q.sum().backward()
。
external_grad = torch.tensor([1., 1.])
Q.backward(gradient=external_grad)
现在梯度都被存放在a.grad
和b.grad
中
# 检查一下存储的梯度是否正确
print(9*a**2 == a.grad)
print(-2*b == b.grad)
可选阅读----用autograd进行向量计算
在数学上,如果你有一个向量值函数????⃗ =????(????⃗ ) ,则????⃗ 相对于????⃗ 的梯度是雅可比矩阵:
一般来说,torch.autograd是一个计算雅可比向量积的引擎。也就是说,给定任何向量????=(????1????2...????????)????,计算乘积????⋅????。如果????恰好是标量函数的梯度????=????(????⃗ ),即
雅可比向量积的这种特性使得将外部梯度馈送到具有非标量输出的模型中非常方便。external_grad
代表
图计算
从概念上讲,autograd在由函数对象组成的有向无环图(DAG)中保存数据(tensor)和所有执行的操作(以及产生的新tensor)的记录,在这个DAG中,叶节点是输入数据,根节点是输出数据,通过从根节点到叶节点跟踪这个图,您可以使用链式法则自动计算梯度。
在前向传播中,autograd同时完成两件事情:
运行所请求的操作来计算结果tensor
保持DAG中操作的梯度
在反向传播中,当在DAG根节点上调用.backward()
时,反向传播启动,autograd
接下来完成:
计算每一个.grad_fn
的梯度
将它们累加到各自张量的.grad属性中
利用链式法则,一直传播到叶节点
下面是DAG的可视化表示的示例。图中,箭头表示前向传播的方向,节点表示向前传递中每个操作的向后函数。蓝色标记的叶节点代表叶张量 a
和b
DAG在PyTorch中是动态的。值得注意的是图是重新开始创建的; 在调用每一个``.backward()``后,autograd开始填充一个新图,这就是能够在模型中使用控制流语句的原因。你可以根据需求在每次迭代时更改形状、大小和操作。
torch.autograd
追踪所有requires_grad
为True
的张量的相关操作。对于不需要梯度的张量,将此属性设置为False将其从梯度计算DAG中排除。操作的输出张量将需要梯度,即使只有一个输入张量requires_grad=True
。
x = torch.rand(5, 5)
y = torch.rand(5, 5)
z = torch.rand((5, 5), requires_grad=True)
a = x + y
print(f"Does `a` require gradients? : {a.requires_grad}")
b = x + z
print(f"Does `b` require gradients?: {b.requires_grad}")
在神经网络中,不计算梯度的参数通常称为冻结参数。如果您事先知道您不需要这些参数的梯度,那么“冻结”部分模型是很有用的(这通过减少autograd计算带来一些性能好处)。另外一个常见的用法是微调一个预训练好的网络,在微调的过程中,我们冻结大部分模型——通常,只修改分类器来对新的<标签>做出预测,让我们通过一个小示例来演示这一点。与前面一样,我们加载一个预先训练好的resnet18模型,并冻结所有参数。
from torch import nn, optim
model = torchvision.models.resnet18(pretrained=True)
# 冻结网络中所有的参数
for param in model.parameters():
param.requires_grad = False
假设我们想在一个有10个标签的新数据集上微调模型。在resnet中,分类器是最后一个线性层模型model.fc
。我们可以简单地用一个新的线性层(默认未冻结)代替它作为我们的分类器。
model.fc = nn.Linear(512, 10)
现在除了model.fc
的参数外,模型的其他参数均被冻结,参与计算的参数是model.fc
的权值和偏置。
# 只优化分类器
optimizer = optim.SGD(model.fc.parameters(), lr=1e-2, momentum=0.9)
注意,尽管我们注册了优化器中所有参数,但唯一参与梯度计算(并因此在梯度下降中更新)的参数是分类器的权值和偏差。torch.no_grad()中也具有相同的功能。
拓展阅读
[就地修改操作以及多线程Autograd]:(https://pytorch.org/docs/stable/notes/autograd.html)
[反向模式autodiff的示例]:(https://colab.research.google.com/drive/1VpeE6UvEPRz9HmsHh1KS0XxXjYu533EC)
往期精彩回顾
适合初学者入门人工智能的路线及资料下载机器学习及深度学习笔记等资料打印机器学习在线手册深度学习笔记专辑《统计学习方法》的代码复现专辑
AI基础下载机器学习的数学基础专辑
本站知识星球“黄博的机器学习圈子”(92416895)
本站qq群704220115。
加入微信群请扫码:
文章浏览阅读1.6k次。安装配置gi、安装数据库软件、dbca建库见下:http://blog.csdn.net/kadwf123/article/details/784299611、检查集群节点及状态:[root@rac2 ~]# olsnodes -srac1 Activerac2 Activerac3 Activerac4 Active[root@rac2 ~]_12c查看crs状态
文章浏览阅读1.3w次,点赞45次,收藏99次。我个人用的是anaconda3的一个python集成环境,自带jupyter notebook,但在我打开jupyter notebook界面后,却找不到对应的虚拟环境,原来是jupyter notebook只是通用于下载anaconda时自带的环境,其他环境要想使用必须手动下载一些库:1.首先进入到自己创建的虚拟环境(pytorch是虚拟环境的名字)activate pytorch2.在该环境下下载这个库conda install ipykernelconda install nb__jupyter没有pytorch环境
文章浏览阅读5.2k次,点赞19次,收藏28次。选择scoop纯属意外,也是无奈,因为电脑用户被锁了管理员权限,所有exe安装程序都无法安装,只可以用绿色软件,最后被我发现scoop,省去了到处下载XXX绿色版的烦恼,当然scoop里需要管理员权限的软件也跟我无缘了(譬如everything)。推荐添加dorado这个bucket镜像,里面很多中文软件,但是部分国外的软件下载地址在github,可能无法下载。以上两个是官方bucket的国内镜像,所有软件建议优先从这里下载。上面可以看到很多bucket以及软件数。如果官网登陆不了可以试一下以下方式。_scoop-cn
文章浏览阅读4.5k次,点赞2次,收藏3次。首先要有一个color-picker组件 <el-color-picker v-model="headcolor"></el-color-picker>在data里面data() { return {headcolor: ’ #278add ’ //这里可以选择一个默认的颜色} }然后在你想要改变颜色的地方用v-bind绑定就好了,例如:这里的:sty..._vue el-color-picker
文章浏览阅读640次。基于芯片日益增长的问题,所以内核开发者们引入了新的方法,就是在内核中只保留函数,而数据则不包含,由用户(应用程序员)自己把数据按照规定的格式编写,并放在约定的地方,为了不占用过多的内存,还要求数据以根精简的方式编写。boot启动时,传参给内核,告诉内核设备树文件和kernel的位置,内核启动时根据地址去找到设备树文件,再利用专用的编译器去反编译dtb文件,将dtb还原成数据结构,以供驱动的函数去调用。firmware是三星的一个固件的设备信息,因为找不到固件,所以内核启动不成功。_exynos 4412 刷机
文章浏览阅读2w次,点赞24次,收藏42次。Linux系统配置jdkLinux学习教程,Linux入门教程(超详细)_linux配置jdk
文章浏览阅读3.3k次,点赞5次,收藏19次。xlabel('\delta');ylabel('AUC');具体符号的对照表参照下图:_matlab微米怎么输入
文章浏览阅读119次。顺序读写指的是按照文件中数据的顺序进行读取或写入。对于文本文件,可以使用fgets、fputs、fscanf、fprintf等函数进行顺序读写。在C语言中,对文件的操作通常涉及文件的打开、读写以及关闭。文件的打开使用fopen函数,而关闭则使用fclose函数。在C语言中,可以使用fread和fwrite函数进行二进制读写。 Biaoge 于2024-03-09 23:51发布 阅读量:7 ️文章类型:【 C语言程序设计 】在C语言中,用于打开文件的函数是____,用于关闭文件的函数是____。
文章浏览阅读3.4k次,点赞2次,收藏13次。跟随鼠标移动的粒子以grid(SOP)为partical(SOP)的资源模板,调整后连接【Geo组合+point spirit(MAT)】,在连接【feedback组合】适当调整。影响粒子动态的节点【metaball(SOP)+force(SOP)】添加mouse in(CHOP)鼠标位置到metaball的坐标,实现鼠标影响。..._touchdesigner怎么让一个模型跟着鼠标移动
文章浏览阅读178次。项目运行环境配置:Jdk1.8 + Tomcat7.0 + Mysql + HBuilderX(Webstorm也行)+ Eclispe(IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持)。项目技术:Springboot + mybatis + Maven +mysql5.7或8.0+html+css+js等等组成,B/S模式 + Maven管理等等。环境需要1.运行环境:最好是java jdk 1.8,我们在这个平台上运行的。其他版本理论上也可以。_基于java技术的停车场管理系统实现与设计
文章浏览阅读3.5k次。前言对于MediaPlayer播放器的源码分析内容相对来说比较多,会从Java-&amp;gt;Jni-&amp;gt;C/C++慢慢分析,后面会慢慢更新。另外,博客只作为自己学习记录的一种方式,对于其他的不过多的评论。MediaPlayerDemopublic class MainActivity extends AppCompatActivity implements SurfaceHolder.Cal..._android多媒体播放源码分析 时序图
文章浏览阅读2.4k次,点赞41次,收藏13次。java 数据结构与算法 ——快速排序法_快速排序法