技术标签: split 调度Schedule tile TVM中文教程 TVM深度学习编译器
TVM是用于高效内核代码构建的版本领域专用语言(Domain-Specialed-Language,DSL) 。
这篇教程,我们将展示通过TVM提供的各种原语怎么去调度计算。
from __future__ import absolute_import, print_function
import tvm
import numpy as np
通常存在几种计算相同结果的方法,但是,不同的方法将导致不同的局部性和性能,所以TVM要求用户提供怎么去调用Schedule描述计算是如何执行的。
Schedule是计算的变换的集合,它通过变换程序中的计算循环Loop,实现不同性能。
#定义一些变量
n = tvm.var('n')
m = tvm.var('m')
调度(Schedule)能通过一系列计算ops来定义,默认情况下,调度计算张量以航为顺序。
#定义矩阵元素element-wise乘法
A = tvm.placeholder((m,n), name='A')
B = tvm.placeholder((m,n), name='B')
C = tvm.compute((m,n),lambda i,j: A[i,j] * B[i,j], name ='C')
#创建调度
s = tvm.create_schedule([C.op])
#lower会将计算从定义转换为真正的可调用函数。 使用参数`simple_mode = True`,它将返回一个可读的C伪代码,我们在这里使用它来打印计划结果。
print(tvm.lower(s, [A, B, C], simple_mode=True))
输出:
produce C {
for (i, 0, m) {
for (j, 0, n) {
C[((i*n) + j)] = (A[((i*n) + j)]*B[((i*n) + j)])
}
}
}
一个调度过程由多个阶段组成,一个阶段表示操作的一个调度。我们提供各种方法来调度每个阶段。
split
通过factor
分裂指定轴为两个轴。
A = tvm.placeholder((m,), name='A')
B = tvm.compute((m,), lambda i: A[i]*2, name='B')
s = tvm.create_schedule(B.op)
#分裂0轴为两个轴,先计算内循环再计算外循环,xo为外循环,xi为内循环
xo, xi = s[B].split(B.op.axis[0], factor=32)
print(tvm.lower(s, [A, B], simple_mode=True))
输出:
produce B {
for (i.outer, 0, ((m + 31)/32)) {
for (i.inner, 0, 32) {
if (likely(((i.outer*32) < (m - i.inner)))) {
B[((i.outer*32) + i.inner)] = (A[((i.outer*32) + i.inner)]*2.000000f)
}
}
}
}
使用nparts
与factor
作用相反,nparts指定外循环次数,factor指定内循环次数。
A = tvm.placeholder((m,), name='A')
B = tvm.compute((m,), lambda i: A[i], name='B')
s = tvm.create_schedule(B.op)
bx, tx = s[B].split(B.op.axis[0], nparts=32)
print(tvm.lower(s, [A, B], simple_mode=True))
输出:
produce B {
for (i.outer, 0, 32) {
for (i.inner, 0, ((m + 31)/32)) {
if (likely((i.inner < (m - (i.outer*((m + 31)/32)))))) {
if (likely(((0 - (i.outer*((m + 31)/32))) <= i.inner))) {
B[(i.inner + (i.outer*((m + 31)/32)))] = A[(i.inner + (i.outer*((m + 31)/32)))]
}
}
}
}
}
tile
通过平铺两个轴执行计算图块
A = tvm.placeholder((m, n), name='A')
B = tvm.compute((m, n), lambda i, j: A[i, j], name='B')
s = tvm.create_schedule(B.op)
xo, yo, xi, yi = s[B].tile(B.op.axis[0], B.op.axis[1], x_factor=10, y_factor=5)
print(tvm.lower(s, [A, B], simple_mode=True))
输出:
produce B {
for (i.outer, 0, ((m + 9)/10)) {
for (j.outer, 0, ((n + 4)/5)) {
//先执行10x5的图块,滑动下一个图块
for (i.inner, 0, 10) {
for (j.inner, 0, 5) {
if (likely(((i.outer*10) < (m - i.inner)))) {
if (likely(((j.outer*5) < (n - j.inner)))) {
B[(((j.outer*5) + (((i.outer*10) + i.inner)*n)) + j.inner)] = A[(((j.outer*5) + (((i.outer*10) + i.inner)*n)) + j.inner)]
}
}
}
}
}
}
}
fuse
能融合一个计算的两个轴
A = tvm.placeholder((m,n),name='A')
B = tvm.compute((m,n), lambda i,j: A[i,j], name='B')
s = tvm.create_schedule(B.op)
#首先平铺成4轴(i.outer,j.outer,i.inner,j.inner)
xo,yo,xi,yi = s[B].tile(B.op.axis[0],B.op.axis[1], x_factor=10, y_factor=5)
#然后融合(i.inner,j.inner)进一个轴:(i.inner.j.inner.fused)
fused = s[B].fuse(xi,yj)
print(tvm.lower(s, [A, B], simple_mode=True))
输出:
produce B {
for (i.outer, 0, ((m + 9)/10)) {
for (j.outer, 0, ((n + 4)/5)) {
for (i.inner.j.inner.fused, 0, 50) {
if (likely(((i.outer*10) < (m - (i.inner.j.inner.fused/5))))) {
if (likely(((j.outer*5) < (n - (i.inner.j.inner.fused % 5))))) {
B[(((j.outer*5) + (i.inner.j.inner.fused % 5)) + (((i.outer*10) + (i.inner.j.inner.fused/5))*n))] = A[(((j.outer*5) + (i.inner.j.inner.fused % 5)) + (((i.outer*10) + (i.inner.j.inner.fused/5))*n))]
}
}
}
}
}
}
reorder
能按照指定顺序重新排列轴(类似于permute)。
A = tvm.placeholder((m, n), name='A')
B = tvm.compute((m, n), lambda i, j: A[i, j], name='B')
s = tvm.create_schedule(B.op)
#首先平铺成4轴(i.outer,j.outer,i.inner,j.inner)
xo, yo, xi, yi = s[B].tile(B.op.axis[0], B.op.axis[1], x_factor=10, y_factor=5)
s[B].reorder(xi,yo,xo,yi)
print(tvm.lower(s, [A, B], simple_mode=True))
输出:
produce B {
for (i.inner, 0, 10) {
for (j.outer, 0, ((n + 4)/5)) {
for (i.outer, 0, ((m + 9)/10)) {
for (j.inner, 0, 5) {
if (likely(((i.outer*10) < (m - i.inner)))) {
if (likely(((j.outer*5) < (n - j.inner)))) {
B[(((j.outer*5) + (((i.outer*10) + i.inner)*n)) + j.inner)] = A[(((j.outer*5) + (((i.outer*10) + i.inner)*n)) + j.inner)]
}
}
}
}
}
}
}
bind
可以使用线程轴绑定指定的轴,通常在GPU编程中使用。
A = tvm.placeholder((n,), name='A')
B = tvm.compute(A.shape, lambda i: A[i] * 2, name='B')
s = tvm.create_schedule(B.op)
bx, tx = s[B].split(B.op.axis[0], factor=64)
s[B].bind(bx, tvm.thread_axis("blockIdx.x"))
s[B].bind(tx, tvm.thread_axis("threadIdx.x"))
print(tvm.lower(s, [A, B], simple_mode=True))
输出:
produce B {
// attr [iter_var(blockIdx.x, , blockIdx.x)] thread_extent = ((n + 63)/64)
// attr [iter_var(threadIdx.x, , threadIdx.x)] thread_extent = 64
if (likely(((blockIdx.x*64) < (n - threadIdx.x)))) {
B[((blockIdx.x*64) + threadIdx.x)] = (A[((blockIdx.x*64) + threadIdx.x)]*2.000000f)
}
}
对于包含多个算子的调度,TVM默认从root开始遍历计算张量。
A = tvm.placeholder((m,), name='A')
B = tvm.compute((m,), lambda i: A[i]+1, name='B')
C = tvm.compute((m,), lambda i: B[i]*2, name='C')
s = tvm.create_schedule(C.op)
print(tvm.lower(s, [A, B, C], simple_mode=True))
输出:
produce B {
for (i, 0, m) {
B[i] = (A[i] + 1.000000f)
}
}
produce C {
for (i, 0, m) {
C[i] = (B[i]*2.000000f)
}
}
compute_at
可以将B
的计算移动到C
的第一个计算轴。
A = tvm.placeholder((m,), name='A')
B = tvm.compute((m,), lambda i: A[i]+1, name='B')
C = tvm.compute((m,), lambda i: B[i]*2, name='C')
s = tvm.create_schedule(C.op)
# 移动B循环到C循环的第一个轴
s[B].compute_at(S[C], C.op.axis[0])
print(tvm.lower(s, [A, B, C], simple_mode=True))
输出:
produce C {
for (i, 0, m) {
produce B {
B[i] = (A[i] + 1.000000f)
}
C[i] = (B[i]*2.000000f)
}
}
compute_inline
可以将一个计算阶段标记为内联,然后将计算体扩展并插入需要张量的地址处。(和C中的内联函数一个意思)
A = tvm.placeholder((m,), name='A')
B = tvm.compute((m,), lambda i: A[i]+1, name='B')
C = tvm.compute((m,), lambda i: B[i]*2, name='C')
s = tvm.create_schedule(C.op)
s[B].compute_inline()
print(tvm.lower(s, [A, B, C], simple_mode=True))
输出:
produce C {
for (i, 0, m) {
//类似内联函数,直接合成一个循环
C[i] = ((A[i]*2.000000f) + 2.000000f)
}
}
compute_root
可以将一个计算阶段的计算移动到root。(compute_at
的逆过程)
A = tvm.placeholder((m,), name='A')
B = tvm.compute((m,), lambda i: A[i]+1, name='B')
C = tvm.compute((m,), lambda i: B[i]*2, name='C')
s = tvm.create_schedule(C.op)
# B移动到C的0轴
s[B].compute_at(s[C], C.op.axis[0])
# B重新移动回root
s[B].compute_root()
print(tvm.lower(s, [A, B, C], simple_mode=True))
输出:
produce B {
for (i, 0, m) {
B[i] = (A[i] + 1.000000f)
}
}
produce C {
for (i, 0, m) {
C[i] = (B[i]*2.000000f)
}
}
本教程介绍了tvm中的调度原语,它允许用户轻松灵活地调度计算。
为了获得良好性能的内核实现,一般工作流程通常是:
文章浏览阅读2.1k次。 需求如下:该搜索框是对整个页面的input检索 ,但与弹出层中的input冲突 博主几经辗转 简单处理 解决问题,思路如下:排除掉特定class的input。代码如下:$('input:not(.pop)', this.footer()).on('keyup change', function () { if (that.search() !== th..._input排他选择器
文章浏览阅读5.6k次,点赞6次,收藏20次。看到别人有个1024的勋章,特意留了一篇在今年的10.24日,看看会不会获得。在日常开发中可能涉及接口之间的相互调用,虽然在现在微服务的理念推广下,很多公司都采用轻量级的JSON格式做为序列化的格式,但是不乏有些公司还是有一些XML格式的报文,最近就在对接某个合作方的时候遇到了XML报文。在JSON报文爽快的转换下很难试用一个一个的拿报文参数,还是希望能直接将报文转换成Bean。接下来就了解到..._jaxb 泛型
文章浏览阅读1.2k次。numpy的主要数据对象是多维数组,其中包含相同类型的元素,通常是数字类型,每个元素都有一个索引。使用numpy前通常要导入包。import numpy as np目录类型维度创建运算索引和切片类型numpy的数组被称为ndarray。numpy.array只处理一维数组,而ndarray对象才提供更多功能。a = np.array([[1, 2, 3], [4, 5, 6]])type(a) # <class 'numpy.ndarray'>dtype属性可以获得元素的数_ndarray的位置
文章浏览阅读1.6w次。还在苦于网上找到的一些指令已经不适用了吗?还在苦于有些地方的指令有误吗?还在苦于有些地方整理的指令不够全面吗?那么你来对地方了!小编为大家整理了《我的世界》原版游戏常用的指令,这些基本足以满足各位的基本需求了!大家来一起看看吧!注:表示的是必须输入的部分,[方括号]表示的是可选择性输入的部分基本命令列表命令描述/?/help的替代命令,提供命令使用帮助。/ban + 玩家名字将玩家加入封禁列表。/..._gamemode指令java
文章浏览阅读1.5w次,点赞3次,收藏3次。Spring Boot 结合shiro做第三方登录验证1、首先,说一下我的具体实现思路。在做spring boot拦截器的过程中,开始我准备用spring security来实现,但是研究了一段时间之后发现spring security的集成度太高,需要修改的东西比较多,而且对它本身的使用方法不是很了解,后来转而使用Apache shiro。由于是第三方登录,是不需要我来验证密码的。最开始,我陷入了_shiro 第三方token登录
文章浏览阅读1.9k次,点赞4次,收藏4次。[INFO ] __init__:get_config:71 - Loading config file from:C:\Users\xxx\.labelmercTraceback (most recent call last): File .... line 191, in <module> main() File ...., line 145, in main config = get_config(config_file_or_yaml, config_fro_file "c:\rgzn\labelme-main\setup.py", line 91, in main if sys.argv[1] == "re
文章浏览阅读8.7k次。代码错误的原因和调试方法_代码报错
文章浏览阅读5.2k次,点赞9次,收藏40次。---恢复内容开始---1.认识游戏 1.1什么是游戏 1.1.1游戏的定义 任何人类正常生理需求之外的活动均可称为游戏 1.1.2游戏的分类 RPG角色扮演游戏、ACT动作游戏、AVG冒险游戏、FPS第一人称视角射击游戏、TPS第三人称视角射击游戏、FTG格斗游戏、SPT体育游戏、RAC竞速游戏、RTS即时战略游戏、STG..._深度解析java游戏服务器开发
文章浏览阅读4k次。CSRF是什么我就不解释了,百度一搜全是,比波姐的片源还要多,千篇一律都他么是复制粘贴。那为什么这个令牌(token)操作可以防范CSRF呢?下面我就随便说说说错了大家不要介意。首先我们要知道令牌是存储在session里面的,这个很重要 php代码如下<?php namespace app\index\controller; //我直接允许跨域,因为伪装..._tp5 开启csrf令牌
文章浏览阅读1.7k次,点赞2次,收藏6次。市盈率PE市盈率 = 市值/净利润概念解析:买入一家公司,几年回本,年化收益率:净利润/市值(市盈率的倒数)举例:砖头10万买个砖头,每年拍人带来1万利润,需要10年回本市盈率:10/1 = 10年化收益率:1/10 = 10%市净率PB市净率 = 市值/净资产净资产 = 总资产 - 负债举例:张三便利店,净资产:120万市值:1..._净资产收益率和股息率
文章浏览阅读737次。教育部昨举行「102年国立馆所文创商品设计比赛」颁奖典礼,台北科技大学创新设计研究所硕士生谢镇宇,为TW艺术教育馆设计「墨器」杯垫,取「默契」谐音,用5片压克力板,展现水墨画层层渲染效果,增加立体视觉感受,并在杯架后方加入LED光源,获评审肯定夺特优奖和奖金10万元。台南应用科技大学商品设计系学生高郁翔,为国立自然科学博物馆设计「恐龙化石钉书机」,他认为小朋友把钉书机钉下去的那一刻,会觉得像暴龙準_杯垫文创设计说明
文章浏览阅读404次。XML与对象,集合的相互转化 今天小伙伴在群里问了一下关于XML与对象之间的相互转换,作为菜鸟的我正好趁着闲着的时间学习了一波,直接上代码了,有疑问或者有错误的地方还请大家指正,谢谢。。。。 1 using System; 2 using System.Collections.Generic; 3 using System.IO; 4 using System...._c# xml转集合