百度飞桨亮相GTC元脑生态技术论坛 Pipeline Serving加速预测服务应用落地-程序员宅基地

技术标签: java  百度  编程语言  人工智能  大数据  

点击左上方蓝字关注我们

12月份,AI行业年度盛会GTC中国线上大会重磅来袭。在备受关注的GTC元脑生态技术论坛上,浪潮联合百度、中科极限元、趋动科技、睿沿科技、海克斯康等伙伴,带来了人工智能算法开发、方案、架构、实践等精彩分享。其中,百度资深工程师赵历以“如何使用飞桨 Pipeline Serving 加速预测服务在企业的搭建”为主题,对百度飞桨深度学习平台的Paddle Serving产品的异步流水线定位、发展历程和核心框架进行全面介绍。

飞桨(PaddlePaddle)以百度多年的深度学习技术研究和业务应用为基础,是中国首个开源开放、技术领先、功能完备的产业级深度学习平台,集深度学习核心训练和推理框架、基础模型库、端到端开发套件和丰富的工具组件于一体。目前,飞桨已凝聚超265万开发者,服务企业10万家,基于飞桨开源深度学习平台产生了34万个模型。飞桨助力开发者快速实现AI想法,快速上线AI业务。帮助越来越多的行业完成AI赋能,实现产业智能化升级。

作为飞桨的技术负责人之一,赵历对Paddle Serving在飞桨生态中的定位和作用进行了解读:“为了解决多模型组合的通用问题,Paddle Serving产品实现了一套基于有向无环图的多模型组合微服务‘Pipeline Serving’功能,旨在帮助开发者轻松实现从移动端、服务器端和和智能设备调用深度学习模型的远程预测服务。”

Paddle Serving围绕工业级深度学习模型部署场景进行设计,提供多模型管理、模型热加载、基于BRPC的高并发低延迟响应能力、在线模型A/B实验等功能。与Paddle训练框架互相配合的API可以让用户从训练到远程部署进行无缝过度,提升深度学习模型的落地效率。此外,在近期月底的v0.4.0发版中即将支持Pipeline Serving、Java客戶端API、原生支持Windows操作系统的Local Predictor功能、TensorRT的支持等功能。

赵历表示,PaddlePaddle具备完整的端到端的全流程部署方案,同时提供性能领先的底层加速库和推理引擎和服务器端的快速部署能力。部署在浪潮NF5488A5服务器上的Paddle Serving预测服务,可以充分发挥浪潮服务器高性能、高带宽和易部署等技术优势,为服务平台和AI企业提供强大的支撑力。

随着框架的不断升级和完善,Paddle Serving的易用性、高性能、灵活性、双生态的特点正在被越来越多的AI开发人员认可,框架的下载量和社区活跃度的明显提升就是最好的证明。

在后续的演示和数据分析中,赵历对Paddle Serving 的模型即服务(Model as a Service,MaaS)的理念进行了实战演示。首先,通过全面打通并自动化飞桨训练框架与 Paddle Serving 的衔接流程,让用户在使用飞桨成功完成模型训练的那一刻,收获的不再只是模型,而是同时拥有了该模型的推理服务,使用户能够在几分钟内将模型转化为一个可以在服务器端部署的远程服务。其次,为了解决单算子多模型这类通用问题,采用了高效引擎、灵活易用(进程+线程、远程+本地)等设计,基于图执行引擎的Pipeline Serving模式,使用全异步的方式大幅提升吞吐和GPU的利用率,在全面降低成本的同时,更对OP和Channel做了大量的容错处理、性能优化的工作,对用户自定义的接口也提供了简单易用的使用方式。

“Paddle Serving 作为飞桨的服务化部署框架,长期目标就是为人工智能落地的最后一公里提供越来越专业、可靠、易用的服务。Paddle Serving 将在接下来的版本中继续降低用户学习和使用门槛,提供更多语言类型的客户端支持,以及相关部署组件,开放更多开箱即用的模型。”分享的最后,赵历对Paddle Serving的未来发展做出展望。

如在使用过程中有问题,可加入飞桨官方QQ群进行交流:1108045677。

如果您想详细了解更多飞桨的相关内容,请参阅以下文档。

·飞桨PaddlePaddle项目地址·

GitHub: 

https://github.com/PaddlePaddle/PaddlePaddle 

Gitee: 

https://Gitee.com/PaddlePaddle/PaddlePaddle 

·飞桨官网地址·

https://www.paddlepaddle.org.cn/

微信号 : PaddleOpenSource

飞桨(PaddlePaddle)以百度多年的深度学习技术研究和业务应用为基础,是中国首个开源开放、技术领先、功能完备的产业级深度学习平台,包括飞桨开源平台和飞桨企业版。飞桨开源平台包含核心框架、基础模型库、端到端开发套件与工具组件,持续开源核心能力,为产业、学术、科研创新提供基础底座。飞桨企业版基于飞桨开源平台,针对企业级需求增强了相应特性,包含零门槛AI开发平台EasyDL和全功能AI开发平台BML。EasyDL主要面向中小企业,提供零门槛、预置丰富网络和模型、便捷高效的开发平台;BML是为大型企业提供的功能全面、可灵活定制和被深度集成的开发平台。

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/PaddlePaddle/article/details/113863964

智能推荐

Oracle DB 12c新特性:raw device 裸设备不再受支持_de-supported-程序员宅基地

文章浏览阅读2.7k次。Oracle DB 12c新特性:raw device 裸设备 不再受支持_de-supported

windows10 修改java环境变量不生效_windows配置java环境变量,没效果-程序员宅基地

文章浏览阅读5.4k次,点赞12次,收藏11次。一、问题以前安装过安装版的jdk后,配置过环境变量,然后现在更换jdk版本且修改环境变量并不能生效,如原本安装了1.8,现更换为1.7,且配置了环境变量,但是java -version仍显示1.8。二、原因当使用安装版本的JDK程序时(一般是1.7版本以上),在安装结束后安装程序会自动将java.exe、javaw.exe、javaws.exe三个可执行文件复制到C:\Windows\System32目录,这个目录在WINDOWS环境变量中的优先级高于JAVA_HOME设置的环境变量优先级,故此直接更_windows配置java环境变量,没效果

HttpClientUtil工具类_httpclientutil.dopostjson(url, null)-程序员宅基地

文章浏览阅读565次。pom.xml需要的jar包<dependency> <groupId>org.apache.httpcomponents</groupId> <artifactId>httpclient</artifactId> <version>4.5.5</version> </dependency>..._httpclientutil.dopostjson(url, null)

Redis的hash数据的java.util.HashMap类型数据的转化为实体类的方法_hashmap转实体类-程序员宅基地

文章浏览阅读2k次。这是我的reload类@RedisHash("Reload")public class Reload implements Serializable { @Indexed private Integer id; @Indexed private String email; private String word; public Integer getId() { return id; } public void set._hashmap转实体类

「JCVI教程」如何绘制CNS级别的共线性图(中)-程序员宅基地

文章浏览阅读8.4k次,点赞3次,收藏7次。在「JCVI教程」编码序列或蛋白序列运行共线性分析流程(上)还是有一个尴尬的事情,就是只用到两个物种,不能展示出JCVI画图的方便之处,因此这里参考https://github.com/tanghaibao/jcvi/wiki/MCscan-(Python-version)的分析,只不过画图部分拓展下思路。首先要运行如下代码获取目的数据python -m jcvi.apps.f..._种间共线性图绘制

kali linux 爆破工具实验-程序员宅基地

文章浏览阅读4.9k次,点赞3次,收藏17次。参考:【https://blog.csdn.net/lakeside1/article/details/80785956;https://blog.csdn.net/u010984277/article/details/50792816】密码本生成命令:crunch命令参数:-b #按大小分割字典文件,比如后跟20mib-c #密码个数(行数),比如8000-d #限制...

随便推点

root cause org.apache.ibatis.ognl.OgnlException: source is null for getProperty(null, "XXX")_cause: org.apache.ibatis.ognl.ognlexception: sourc-程序员宅基地

文章浏览阅读4.5w次,点赞16次,收藏21次。[java] view plain copyorg.apache.catalina.core.StandardWrapperValve invoke threw exception [Request processing failed; nested exception is org.mybatis.spring.MyBatisSystemException:_cause: org.apache.ibatis.ognl.ognlexception: source is null for getproperty(

渗透测试 ( 7 ) --- 漏洞扫描工具 Nessus_nessus漏洞扫描工具-程序员宅基地

文章浏览阅读1.9k次。Nessus 是世界上很流行的漏洞扫描程序,全世界很多组织都有在使用它。该工具提供完整的电脑漏洞扫描服务,并随时更新其漏洞数据库。Nessus 不同于传统的漏洞扫描软件,Nessus 可同时在本机或远端上遥控,进行系统的漏洞分析扫描......_nessus漏洞扫描工具

2022年团体程序设计天梯赛-总决赛 L1 - L12_团体程序设计 超能力者大赛-程序员宅基地

文章浏览阅读2.1k次,点赞7次,收藏14次。文章目录一、L1-1 今天我要赢?二、L1-2 种钻石三、L1-3 谁能进图书馆四、L1-4 拯救外星人五、L1-5 试试手气六、L1-6 斯德哥尔摩火车上的题七、L1-7 机工士姆斯塔迪奥八、L1-7 机工士姆斯塔迪奥九、L2-1 插松枝十、L2-2 老板的作息表十一、L2-3 龙龙送外卖十二、L2-4 大众情人总结一、L1-1 今天我要赢?直接上代码吧,不废话了#include<bits/stdc++.h>#define int long longusing namespa_团体程序设计 超能力者大赛

SpringBoot注解@Value取值取不到问题_springbootvalue注解取不到值-程序员宅基地

文章浏览阅读3.7k次。一、spring组件重写构造方法,在构造方法中引用@Value为null由于spring实例化顺序为先执行构造方法,再注入成员变量,所以序为先执行构造方法,再注入成员变量,所以ing实例化顺取值为null解决办法为:再写一个常量类,在常量类中引用@value,再在构造方法中引用常量类的变量即可。二,调用spring组件时使用new对象,而不是@Autowired(我碰到的问题)使用对象来取得参数的时候,如果使用new创建对象,那么将取值为null。图中注释的创建对象的方法无法获取值,必须使用@Auto_springbootvalue注解取不到值

Tensorflow Object_Detection API运行--object_detection_tutorial.ipynb不显示图片问题--解决办法-程序员宅基地

文章浏览阅读1.5k次,点赞4次,收藏5次。目录#目标检测# Tensorflow Object_Detection API运行--object_detection_tutorial.ipynb不显示图片问题个人环境配置**anaconda 4.8.2****搭建虚拟环境****tensorflow版本1.14.0****python版本3.6**尝试的解决办法直接在代码最后加上plt.show()降低matplotlib版本修改代码我的..._ipynb不显示图片

Python经典编程习题100例:第21例:猴子吃桃问题_python语言程序设计猴子吃桃-程序员宅基地

文章浏览阅读2.4k次,点赞3次,收藏6次。不要自卑,去提升实力互联网行业谁技术牛谁是爹如果文章可以带给你能量,那是最好的事!请相信自己加油o~ 本人初学Python,只为熟悉语法编写,大神请勿理会点击下面链接Python经典编程100例习题汇总题目描述:猴子吃桃问题:猴子第一天摘下若干个桃子,当即吃了一半,还不瘾,又多吃了一个第二天早上又将剩下的桃子吃掉一半,又多吃了一个。以后每天早上都吃了前一天剩下的一半零一个。到第10天早上想再吃时,见只剩下一个桃子了。求第一天共摘了多少。解题思路:> 可以反着推代码:.._python语言程序设计猴子吃桃