技术标签： YOLO onnxruntime cuda python 部署 onnX
onnxruntime-gpu版本可以说是一个非常简单易用的框架，因为通常用pytorch训练的模型，在部署时，会首先转换成onnx，而onnxruntime和onnx又是有着同一个爸爸，无疑，在op的支持上肯定是最好的。
通常在安装onnxruntime时，需要将其版本与pytorch版本和CUDA版本进行对应，其中ONNXRuntime与CUDA版本对应关系表如下表所示。
| ONNX Runtime | CUDA | cuDNN | Notes |
|---|---|---|---|
| 1.17 | 12.2 | 8.9.2.26 (Linux) 8.9.2.26 (Windows) |
The default CUDA version for ORT 1.17 is CUDA 11.8. To install CUDA 12 package, please look at Install ORT. Due to low demand on Java GPU package, only C++/C# Nuget and Python packages are released with CUDA 12.2 |
| 1.15 1.16 1.17 |
11.8 | 8.2.4 (Linux) 8.5.0.96 (Windows) |
Tested with CUDA versions from 11.6 up to 11.8, and cuDNN from 8.2.4 up to 8.9.0 |
| 1.14 1.13.1 1.13 |
11.6 | 8.2.4 (Linux) 8.5.0.96 (Windows) |
libcudart 11.4.43 libcufft 10.5.2.100 libcurand 10.2.5.120 libcublasLt 11.6.5.2 libcublas 11.6.5.2 libcudnn 8.2.4 |
| 1.12 1.11 |
11.4 | 8.2.4 (Linux) 8.2.2.26 (Windows) |
libcudart 11.4.43 libcufft 10.5.2.100 libcurand 10.2.5.120 libcublasLt 11.6.5.2 libcublas 11.6.5.2 libcudnn 8.2.4 |
| 1.10 | 11.4 | 8.2.4 (Linux) 8.2.2.26 (Windows) |
libcudart 11.4.43 libcufft 10.5.2.100 libcurand 10.2.5.120 libcublasLt 11.6.1.51 libcublas 11.6.1.51 libcudnn 8.2.4 |
| 1.9 | 11.4 | 8.2.4 (Linux) 8.2.2.26 (Windows) |
libcudart 11.4.43 libcufft 10.5.2.100 libcurand 10.2.5.120 libcublasLt 11.6.1.51 libcublas 11.6.1.51 libcudnn 8.2.4 |
| 1.8 | 11.0.3 | 8.0.4 (Linux) 8.0.2.39 (Windows) |
libcudart 11.0.221 libcufft 10.2.1.245 libcurand 10.2.1.245 libcublasLt 11.2.0.252 libcublas 11.2.0.252 libcudnn 8.0.4 |
| 1.7 | 11.0.3 | 8.0.4 (Linux) 8.0.2.39 (Windows) |
libcudart 11.0.221 libcufft 10.2.1.245 libcurand 10.2.1.245 libcublasLt 11.2.0.252 libcublas 11.2.0.252 libcudnn 8.0.4 |
| 1.5-1.6 | 10.2 | 8.0.3 | CUDA 11 can be built from source |
| 1.2-1.4 | 10.1 | 7.6.5 | Requires cublas10-10.2.1.243; cublas 10.1.x will not work |
| 1.0-1.1 | 10.0 | 7.6.4 | CUDA versions from 9.1 up to 10.1, and cuDNN versions from 7.1 up to 7.4 should also work with Visual Studio 2017 |
选好版本后，使用以下命令进行安装onnxruntime
pip install onnxruntime-gpu==X.X.X -i https://pypi.tuna.tsinghua.edu.cn/simpleX.X.X表示版本号。
文章浏览阅读97次。proc 文件系统在Linux中有额外的机制可以为内核和内核模块将信息发送给进程-- /proc 文件系统。最初设计的目的是允许更方便的对进程信息进行访问（因此得名），现在它被每一个有有趣的东西报告的内核使用，例如/proc/modules 有模块的列表/proc/meminfo 有内存使用的统计表。 使用proc 文件系统的方法和使用设备驱动程序非常相似--创建一个/proc 文件需要的所..._(5条消息) 【linux】proc详解_zclinux_的博客-csdn博客_linux proc
文章浏览阅读241次。目录什么是Vue.js为什么要学习流行框架框架和库的区别Node（后端）中的 MVC 与 前端中的 MVVM 之间的区别Vue.js 基本代码 和 MVVM 之间的对应关系Vue之 - 基本的代码结构`Vue指令之`插值表达式`、`v-cloak``v-text`和`v-html`Vue指令之`v-bind`的三种用法Vue指令之`v-on`和`跑马灯效果`跑马灯效果Vue指令之`v-on的缩写...
文章浏览阅读246次。用户：免费好课、直播公开课、课程信息推荐、云学堂资讯、精选好课管理员：首页、用户管理、课程信息管理、精选好课管理、直播公开管理、免费分类管理、云学堂资讯管理_基于微信平台的《javascript程序设计》学习系统的设计与实现
文章浏览阅读9.7k次，点赞11次，收藏9次。这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Ma..._conda --version没反应
文章浏览阅读664次。在使用Flex开发的过程中，数据绑定是一定会遇到的，这种技术简单，又有点好玩，重要的是它让开发变得简单了。 在Flex中，数据绑定的方式有这么三种：直接在“{}”中填写绑定变量 使用标签绑定 使用ActionScript中的BindingUtils类绑定 示例1中的绑定方式即是第一种绑定方式，在“{}”中直接填写inputUnit.text，表
文章浏览阅读5.7k次。一时让人眼花缭乱的技术概念存储设备一直作为计算机系统的重要组成部分，过去很长一段时间，用户习惯于使用 SAN 存储作为保存企业关键业务数据的不二选择。基于 SAN 存储为核心的三层式基础架构（服务器-存储网络-存储设备），成为企业中最常用的基础架构，也称作传统架构。互联网的出现，信息量呈现爆炸式增长，人类产生数据的速度超越了以往所有时代的总和，需要存储的数据量也是急剧地增长。大数据，人工智能，物联网等新技术出现，对存储提出了新的需求。于是市面涌现了一系列的关于存储的新的技术概念和名词（包括 软件定义存储_部署方式包括集中式存储、分布式存储、超融合等
文章浏览阅读3.4k次。MySQL 可应用于多种语言，包括 PERL, C, C++, JAVA 和 PHP。 在这些语言中，MySQL 在 PHP 的 web 开发中是应用最广泛。大家知道mysql如何分区的吗?下面由学习啦小编为大家整理的mysql分区的方法，希望大家喜欢!mysql分区的方法一、概述当 MySQL的总记录数超过了100万后，会出现性能的大幅度下降吗?答案是肯定的，但是，性能下降>的比率不一而同..._mysql 分区方式
文章浏览阅读580次。简介很多领域中的企业过去总是以一种事件驱动的方式经营，且必须每天处理不断增加的业务事件和交易。事件处理（Event Processing，EP）是一个新兴的领域，主要受到企业对这种大量业务和 IT 事件进行快速响应的需求所推动。它通过更有效地处理具有企业意义的事件来满足支持决策制定周期的需求，在面向服务架构（Service Oriented Architectures，SO..._event processing network
文章浏览阅读863次。介绍 ThinkJS 是一款面向未来开发的 Node.js 框架，整合了大量的项目最佳实践，让企业级开发变得如此简单、高效。从 3.0 开始，框架底层基于 Koa 2.x 实现，兼容 Koa 的所有功能。 官方文档传送门点这里步骤： 1.创建一个thinkjs项目，执行 thinkjs new [project_name] 来创建项目，如： 2.安装如下包：..._thinkjs服务端发送邮件
文章浏览阅读385次。目录进程与线程1. 进程2. 线程3. 区别进程状态的切换进程调度算法1. 批处理系统1.1 先来先服务 first-come first-serverd（FCFS）1.2 短作业优先 shortest job first（SJF）1.3 最短剩余时间优先 shortest remaining time next（SRTN）1.4 最高相应比优先..._实现生产者—消费者问题基于消息队列
文章浏览阅读1.5k次，点赞39次，收藏18次。指针是一个变量，其值是另一个变量的地址。通过指针，可以直接访问存储在该地址上的数据。
文章浏览阅读1.3w次。我的电脑系统：Windows 10 64位SQL Server 软件版本： SQL Server 2014 Express 本篇博客里面使用了 scott 库，如何你现在还没有添加这个库到你的服务器里面，请在查看本篇博客前，访问这篇博文来在你的服务器里面附加scott库。order by — 以某个字段排序例子：select * from emp order by sal; --默认_sql使数据按字段排序