从开发小白到音视频专家-程序员宅基地

技术标签: 七牛  视频  SDK  后端  音频  技术文章  

作者:卢俊,七牛云客户端团队技术负责人。拥有丰富的音视频领域的开发和实战经验,先后开发过 Android 播放 SDK、Android 推流 SDK、短视频 SDK,并主导了七牛连麦系统的设计和实现。服务过上百家直播客户,包括熊猫、全民、龙珠、汽车之家、懂球帝等。

本文整理自卢俊的演讲,目标读者是对音视频开发感兴趣但是又不知道如何下手的初学者们,希望对大家有所帮助。

1. 成长的烦恼

经常收到一些网友的来信或者留言,反馈如下这样的困惑:

“我是一名应届毕业生,该如何快速地成长起来”
“我只懂 C/C++,是学 Android 开发有前途,还是 iOS 开发有前途?”
“我是一名 Android/iOS 开发,已经可以独立完成一个完整的 App 开发上线,该如何继续提升?”
“我想从事音视频开发,该如何入门? 如何进阶 ?”

很高兴看到大家有这样的问题,因为这也从侧面反映了你是一个积极向上,想不断努力来提升自己的人。

我就先从一个简单的问题聊起,“到底 Android 开发有前途还是 iOS 开发有前途?”

其实这个问题跟 “PHP 是不是世界上最好的语言一样”,只会引发争论,却没有什么实际价值,在我看来,无论是 Windows、Linux、Android 还是 iOS 开发,都没有什么优劣之分,它们其实都有着很多的共同点,那就是:

都是基于操作系统提供的 API 完成特定需求的实现

当然,也有些不同的地方,比如:

  • 系统的 API 和特性不同
  • 编程语言不同,Windows/Linux 以 C/C++ 为主,Android 以 Java 为主,iOS 以 Object C 为主等等

但无论什么平台,他们的学习曲线其实是类似的,都要经历差不多如下的环节:

  • 学习对应平台的编程语言,如:C/C++,Java,Object C,Javascript 等
  • 熟悉对应平台提供的 API,如:UI 库,网络,文件,数据库, 图片处理,多媒体处理 等等
  • 掌握平台相关的特性、框架和原理,如:Windows 的 WINSOCK,ODBC,WPF 等,Unix 的设计哲学,Android 的四大组件,iOS 的 MVC 模式等等
  • 通过具体的项目,熟悉和练手,达到可完成任意功能的开发

当你已经走到第 4 步了后,往往就会感觉遇到了瓶颈,产生如文章开头的问题,下一步何去何从 ?

其实我一直有一个观点,就是:

“基于平台的 API 做应用开发,并不是一个可以走得多远的方向,真正有价值的地方在于与具体的业务方向结合”,比如:

  • 网络安全
  • 音视频
  • 智能硬件
  • 深度学习
  • 大数据
  • 其他(比如:金融、通信等)

在具体的业务领域,你可以慢慢沉淀下来,用自己的努力和时间换来对领域知识的深入理解和积累,逐渐从一个开发小白走向最懂这个行业的专家。

今天呢,我就主要跟大家分享下,如果你对音视频这个领域感兴趣,应该如何入门和提高 ?

2.音视频开发包括哪些内容

虽然一篇文章无法把音视频开发的知识点都介绍清楚,但是大概的学习路线还是可以梳理一下的,我们先看看下面这张图:

其实说白了,音视频开发,就是要掌握图像、音频、视频的基础知识,并且学会如何对它们进行采集、渲染、处理、传输等一系列的开发和应用。

  • 采集:它解决的是,数据从哪里来的问题
  • 渲染:它解决的是,数据怎么展现的问题
  • 处理:它解决的是,数据怎么加工的问题
  • 传输:它解决的是,数据怎么共享的问题

每一个门类,都可以深挖,衍生出一个又一个充满技术挑战的话题,比如:如何更高效地渲染画面、如何提高音视频的压缩比,如何优化弱网下的音视频数据传输等等。

其实,音视频开发的技术积累,也没有那么难,带着问题去 Google,带着任务去实践,一切都不是问题,我们就从上面说的 4 个方向,逐个探索一下,有哪些知识点,是要我们去了解和掌握的。

2.1 采集

采集,它解决的是,数据从哪里来的问题,那么,数据究竟从哪里来的呢 ?

其实无论在哪个平台,图像、视频最初都是来自摄像头,而音频最初都是来自麦克风,因此,做音视频采集,就要掌握如下的技术知识:

a. 系统的摄像头采集接口是什么,怎么用?

比如:

Windows:DirectShow
Linux:V4L2
Android:Camera
iOS:AVCaptureSession

b. 系统的摄像头采集的参数怎么配置,都是什么含义 ?

比如:分辨率、帧率、预览方向、对焦、闪光灯 等

c. 系统的摄像头输出的图像/视频数据,是什么格式,不同格式有什么区别 ?

比如:

图片:JPEG;
视频数据:NV21,NV12,I420 等

d. 系统的麦克风采集接口是什么,怎么用 ?

比如:

Windows:DirectShow
Linux:ALSA & OSS
Android:AudioRecord
iOS:Audio Unit

e. 系统的麦克风采集参数怎么配置,都是什么含义 ?

比如:

采样率、通道号、位宽等

f. 系统的麦克风输出的音频数据,是什么格式?

比如:

PCM

2.2 渲染

渲染,它解决的是,数据怎么展现的问题,那么,数据究竟怎么展现呢 ?

其实无论在哪个平台,图像、视频最终都是要绘制到视图上面,而音频最终都是要输出到扬声器,因此,做音视频渲染,就要掌握如下的技术知识:

a. 系统提供了哪些 API 可以绘制一张图片或者一帧 YUV 图像数据的 ?

比如:

Windows:DirectDraw, Direct3D, GDI,OpenGL 等
Linux: GDI, OpenGL 等
Android:ImageView,SurfaceView,TextureView,OpenGL 等
iOS: CoreGraphics,OpenGL 等

b. 系统提供了哪些 API 可以播放一个 mp3 或者 pcm 数据 ?

比如:

Windows:DirectSound 等
Linux:ALSA & OSS 等
Android:AudioTrack 等
iOS: AudioQueue 等

2.3 处理

处理,它解决的是,数据怎么加工的问题,那么,数据究竟可以怎么加工呢 ?

首先,我们看看图像/音视频的数据可以做哪些加工 ?

其实无论在哪个平台,图像和音视频的加工,除了系统的 API,大多数都会依赖一些跨平台的第三方库的,通过掌握这些第三方库的原理和使用方法,基本上就可以满足日常音视频处理工作了,这些库包括但不限于:

a. 图像处理:OpenGL,OpenCV,libyuv,ffmpeg 等
b. 视频编解码:x264,OpenH264,ffmpeg 等
c. 音频处理:speexdsp,ffmpeg 等
d.音频编解码:libfaac,opus,speex,ffmpeg 等

因此,学习和掌握这些第三方库的使用,非常有必要。

2.4 传输

传输,它解决的是,数据怎么共享的问题,那么,数据究竟怎么共享呢 ?

共享,最重要的一点,就是协议。

我觉得互联网之所以能够如此蓬勃地发展,将整个世界都紧密联系在一起,其实是离不开 W3C 这个委员会的巨大贡献的,因为无论什么数据,要想在不同的国家、不同设备之间互联互通,离不开 “标准”,有了 “标准”,大家就能互相读懂对方。

因此,研究音视频传输,其实就是在研究协议,具体有哪些协议呢 ?

a. 音视频在传输前,怎么打包的,如:FLV,ts,mpeg4 等
b. 直播推流,有哪些常见的协议,如:RTMP,RSTP 等
c. 直播拉流,有哪些常见的协议,如:RTMP,HLS,HDL,RTSP 等
d. 基于 UDP 的协议有哪些?如:RTP/RTCP,QUIC 等

互联网环境下的音视频的传输,是一个非常有挑战和价值的方向,为了解决弱网下的传输延时、卡顿,提高用户体验,整个业界都在不断地进行着深入的探索和优化。

3.小结

限于篇幅原因,经验分享就到这里了,音视频的路很长,更多的还是要靠自己去学习和实践,带着追求极致的精神去探索和优化,相信大家都能快速成长,成为真正的行业专家!

关于这个话题,有任何疑问欢迎来信 [email protected] 交流,另外,欢迎关注我的新浪微博 @卢_俊 或者 微信公众号 @Jhuster 获取最新的文章和资讯。
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/dev_csdn/article/details/78738806

智能推荐

VRay Next for SketchUp 新功能实用技巧_vary for sketchup 历史对比不能使用-程序员宅基地

文章浏览阅读1.8k次。6分钟,掌握VRay Next for SketchUp新功能实用技巧!_vary for sketchup 历史对比不能使用

intelliSense: 未定义标识符 "cout"小记_1intellisense: 未定义标识符 "cout"d:\net work\project1\p-程序员宅基地

文章浏览阅读1.7w次,点赞5次,收藏5次。2 IntelliSense: 未定义标识符 "cout"这个错误,是在测试书上的例子时出现的,都是Cpp文件,都用的头,有的报错了,有的没有。后来发现没报错的头部是这样的:#include #include "stdafx.h"using namespace std;报错的cpp文件只有头部:#include 在出现2 IntelliSense:_1intellisense: 未定义标识符 "cout"d:\net work\project1\project1\yyy.cpp9

mybatis 中使用postgreSQL的UUID 解决方法_mybatis-plus insert方法插入postgres数据库 uuid-程序员宅基地

文章浏览阅读5.6k次。网上的解决方法是在java实体类中使用string类型,读取的时候转换成字符串,插入的时候转uuid。查询的时候这样子转换<id column="application_id" property="applicationId" javaType="java.lang.String" jdbcType="VARCHAR" />插入的时候 <insert id="insert&qu_mybatis-plus insert方法插入postgres数据库 uuid

bigdata_kafka与streaming_idea的big data tools插件连接kafka-程序员宅基地

文章浏览阅读3.6k次。一丶Kafka应用 鉴于kafka在实际使用时,绝大多数应用场景均为Producer和Consumer的API配合使用,故在此只介绍这两种API操作方法,其它的Connector和Streams还有admin可以视自身情况自行学习。 1.java版 实现步骤 创建maven项目(done) 加入kafka依赖 producer push message实现 consumerpull message实现 效..._idea的big data tools插件连接kafka

PHP+Mysql 实现留言板_html+php+mysql 实现留言板-程序员宅基地

文章浏览阅读911次。最近看了下PHP基础语法,就想利用这些基本东西实现留言板,也是对基础知识的一个巩固。什么是留言板?一种可以用来记录,展示文字信息的载体。现切入正题,说说本次留言板是怎么实现!首先用户提交留言后,相关内容存入服务器,当他想看的时候后台再把所有留言读出来,最后显示在浏览器上,用户就可以看到留言了。这其中后台需要便于读写数据的一个工具,我选择MySQL数据库来帮助_html+php+mysql 实现留言板

01.初识数据库_select user,host,password from-程序员宅基地

文章浏览阅读339次。01.初识数据库1. 数据库管理软件的由来基于我们之前所学,数据要想永久保存,都是保存于文件中,毫无疑问,一个文件仅仅只能存在于某一台机器上。如果我们暂且忽略直接基于文件来存取数据的效率问题,并且假设程序所有的组件都运行在一台机器上,那么文件存取数据并没有问题。很不幸,这显然不现实,上述假设存在以下几个问题1.1. 程序所有的组件就不可能运行在一台机器上因为这天台机器一旦挂掉则意味着整个软件的崩溃,并且程序的执行效率依赖于继承它的硬件,而一台机器的性能垂直进行扩展是有限的。于是我们只能通过水平_select user,host,password from

随便推点

JVM总结_jmap -histo pid 查出来的的类名称b、c、i是什么-程序员宅基地

文章浏览阅读1k次。jvmjava内存区域程序计数器Program Counter Register一块很小的内存空间,它可以看作是当前线程所执行的字节码的行号指示器,每个线程都有一个独立的程序计数器tips:如果正在执行一个Java方法,这个计数器的值为正在执行的虚拟机字节码指令的地址,如果正在执行的是Native方法,这个计数器的值为空。本地方法栈和虚拟机栈发挥的作用相同,虚拟机运..._jmap -histo pid 查出来的的类名称b、c、i是什么

pip安装第三方模块老是报错?多种常见错误,进来看看解决方案!_error_invalid_pip-程序员宅基地

文章浏览阅读2.3w次,点赞53次,收藏131次。pyinstaller是个非常好用的模块,可以将python源代码文件打包为exe可执行文件,免于其他用户安装python环境,然而,这个模块需要用户自行下载,而且是在cmd下使用pip,通常使用pip install pyinstaller,在这个过程中会遇到各种各样的异常和错误,所以我准备对这个命令进行添加和修缮,保证pyinstaller顺利安装。首先在这里给大家列举几种常见错误和解决方案:..._error_invalid_pip

使用C语言客户端(hiredis)连接Redis_c语言连接hredis-程序员宅基地

文章浏览阅读1.8k次,点赞2次,收藏9次。关键词:hiredis, cRedis, redis clients, redis客户端, C客户端, 华为云分布式缓存服务hiredis是一个非常全面的C语言版redis接口库,支持所有命令、管道与脚本。华为云分布式缓存服务Redis版支持hiredis客户端连接。使用C语言客户端(hiredis)连接Redis,需要先安装编译环境以及hiredis,以CentOS为例,介绍C客户端环境..._c语言连接hredis

文件包含漏洞--phpMyAdmin 4.8.1_phpmyadmin 4.8.1文件包含漏洞-程序员宅基地

文章浏览阅读790次,点赞14次,收藏20次。需要同时满足条件(参数target不为空、是字符串、不以index开头(此时如果需要加载index文件去绕过,可尝试使用xxx/../index.php)、不在数组target_blacklist中(此处也可以用xxx/../index.php的方式绕过 )、在checkPageValidity()函数中返回真)才能得到参数。因为此靶场可以对数据库直接操作,我们可以直接查找数据库文件(/MySql/data/数据库名/表名.frm),并且直接新建表,将字段名命名为一句话木马,从而将一句话木马包含进去。_phpmyadmin 4.8.1文件包含漏洞

centos 安装 openocd_centos安装open3d-程序员宅基地

文章浏览阅读563次。下载解压配置之前先安装跟libusb有关的库接着./configuremakemake install默认安装位置在 /usr/local/bin下面,所有PATH不用设置_centos安装open3d

SqlHelper:_sqlcommand command = createcommand(conn, "addcusto-程序员宅基地

文章浏览阅读404次。//---- SqlHelper- -主角要出场了- -怎么说呢下面的这个我看还不错哈 CreateCommand创建命令#region CreateCommand创建命令 /**//// /// 创建一个由存储过程提供的命令 /// /// /// e.g.: /// SqlCommand co_sqlcommand command = createcommand(conn, "addcustomer", "customerid", "customername");

推荐文章

热门文章

相关标签