5G时代探索互动立体视频信息承载的新可能-程序员宅基地
5G时代对于视频行业的发展和业务形态将是一个重要的助推，但5G时代带来的改变不只是带宽提升和延迟降低这两个最直接的因素。本次LiveVideoStackCon 2020线上峰会我们邀请到了阿里巴巴高级算法专家盛骁杰，他将介绍在5G时代，视频信息承载将逐步从目前的平面视频形态过渡到信息表达更为丰富的三维视频，而这种过渡中包含的可能性一方面需要我们充分利用5G技术本身的云、边、端架构带来的技术红利，另一方面，也需要我们对于快速发展的三维视觉，AI，AR等技术进行综合性的创新运用，使得视频体验通过可互动的三维信息表达在5G时代不断给用户创造出更多的价值。
文 / 盛骁杰
整理 / LiveVideoStack
大家好，本次我分享的主题是5G时代的互动视频——探索从平面到三维视频信息表达的新可能。
本次演讲的内容将分为四个部分，分别为：什么是互动6DoF视频、视频体验的发展和5G时代的新机遇、6DoF视频的标准（MPEG/AVS）和对互动6DoF视频的未来展望。
1
什么是互动6DoF视频
首先通过三个演示视频来认识互动6DoF视频。第一个视频是CBA的运动场景，它是通过相机阵列和三维重建所得到的一个互动6DoF视频，并且通过实际的网络传输以及用户终端的实时互动所展现出来的一个效果。
第二个视频也是相同的场景，但对原先的互动方式进行了一些调整和改变，在这样的视频中，用户触摸屏幕会使整体场景静止，用户可以有一个静态场景下360°的对场景每一个瞬间进行精细化观看的互动体验，这样的体验特别适合于体育等竞技性和专业性较强的场景。
首先，通过对这个视频的体验，可以感受到之前普通的平面体育点播和直播视频当中所没有的新体验。
其次，在一个三维的空间中对传统体育赛事的观看方式进行革新，使得用户能够自由地切换自己的视点，观看其感兴趣的区域。通过这种方式，用户会感觉到视频的观看过程通过可互动的方式，已经和某些游戏的体验有相似性。从来没有体验过这种视频的用户，在第一次体验之后会感觉这种体验很像游戏。之所以有这种感受，是因为它其中包含了3D和互动的体验，而普通的游戏给予用户的正是这样一种体验。这也是互动6DoF视频和平面视频最大的区别， 即互动6DoF视频有着和平面视频不同的三大特点：互动性、三维立体感和场景沉浸感。
互动6DoF视频除了应用在体育的场景当中，在综艺场景中也有着广泛的应用前景。以上展示的是一个综艺场景的效果，视频中的整个综艺场景，通过三维的建模并且通过传输和实时互动，使用户产生很强的现场沉浸感和立体感体验效果。此外，在综艺场景中它可以给予用户一种全方位的信息接受方式。比如这个视频演示是优酷《这就是街舞2》决赛当中的一段视频，我们的交互范围是可以覆盖整体场景正面的180°，基本上可以囊括正面的所有舞蹈视角，通过这种方式的交互，用户可以很方便的把握住舞台的整体，体验到每个舞者在跳舞过程中全方位的信息。今年在优酷的《这就是街舞3》节目中，我们会在优酷的APP端正式上线这样的体验。
这种体验在街舞当中或者其他技巧类、动作类的综艺当中都有很好的应用前景，在整个互动效果当中，它的交互是非常流畅的，用户手指的滑动、画面的重建和渲染都可以达到实时的效果。而且现在手机终端的运算能力越来越强，已经可以使这样的形态让用户在大部分的手机上体验到。
以上的三个例子是通过具体的呈现方式使大家对互动6DoF视频有一个感性的认识。下面我们再来详细介绍下什么是互动6DoF视频。
普通的平面视频从视频的采集、处理、编码、传输、观看的整个过程中都是单向的传输链路，所以平面视频是一种被动式的观看，这是因为用户最终接收到的信息是完全被动式的接收导演想传递给用户的信息，用户不能主动选择想看的部分，这是一种被动式的观影体验。并且，平面视频每一级都是单向链路，就是采集完的信号会给下一级进行视频处理，经过编码模块后进行视频传输到用户端播放，每一级都是一个向后单向传递的处理链路。
互动6DoF视频在平面视频的基础上引入了一种交互式的观看方式，正如前面三个视频的例子就具有很强的交互性。它的交互性来源不只是在终端得到的交互，在视频的采集、内容表达和编码三个方面都和传统的平面视频有很大的区别，在这几个模块中都需要对用户最终的交互形态有一个综合性的考虑和设计。也就是说我们需要事先考虑给用户怎么样的交互形态和交互范围，然后倒推回去设计视频的采集方案、视频的内容表达方案和编码方案。所以它是一种非单向式的视频处理链路，在6DoF视频采集的时候我们就要在方案当中充分考虑到用户的交互行为。
这是我们的技术人员第一次通过这种6DoF交互式的观看获得一种手段，即他能够通过技术去影响和改变上游视频的传统采集和表达方式。而在普通的平面视频的观看当中，技术人员无法影响上游的表达，只是被动的接收上游导播给到的信号，并把它呈现出来。但是互动6Do
智能推荐
虚拟机 ESXi 8 + OpenWrt 23.05 + Windows Server 2022 安装记录_esxi8安装winserver-程序员宅基地
文章浏览阅读695次。事情起因是同学购入了一台工控机, 打算装一个 All In One, 我就小帮了帮他, 然后想着要不我自己先搞一套试试吧, 于是决定在 VMware Workstation 中装一个 All In One, 说干就干, 先去看看 ESXi 怎么装, 镜像文件哪里下载, 没想到 VMware 官方就有给下载的地方, 还有免费的版本, 只需要有一个账号就行_esxi8安装winserver
java判断一个数是不是质数（素数）_java判断13是否是质数-程序员宅基地
文章浏览阅读979次，点赞2次，收藏4次。质数又称为素数,定义如下:质数。一个大于1的正整数，如果除了1和它本身以外，不能被其他正整数整除，就叫素数。如2，3，5，7，11，13，17…。代码实例：import java.util.Scanner;public class Main{ public static void main(String[] args) { Scanner scanner = new Scanner(..._java判断13是否是质数
java通过接口把图片处理成透明背景，java通过接口抠图_java 抠图-程序员宅基地
文章浏览阅读454次，点赞8次，收藏10次。【代码】java通过接口把图片处理成透明背景，java通过接口抠图。_java 抠图
java.sql.Date和java.util.Date的处理_import java.sql.date; import java.util.date;-程序员宅基地
文章浏览阅读682次。Bean类import java.util.Date;private Date active_time;//启用时间private Date insert_time;//入库时间数据库字段："ACTIVE_TIME" DATE, "INSERT_TIME" DATE,service层：IncreDataBean idb=null;idb.setActive__import java.sql.date; import java.util.date;
为 SAP UI5 正名 - 它也支持双向绑定-程序员宅基地
文章浏览阅读705次。有的程序员和我讨论其现在的前端框架时，说Angular比UI5高级，因为前者支持双向绑定。然而UI5也是支持双向绑定的，看下面这张图里Data Binding->Two way data binding一览，SAP UI5和Angular一样都是支持的哦：并且有代码为证：实际上，我专门在SAP社区上写过一篇文章，详细比较了Angular和UI5数据双向绑定的差异：I first ...
opencv实现双目视觉测距_双目测距 xiao_run-程序员宅基地
文章浏览阅读5.5w次，点赞80次，收藏616次。最近一直在研究双目视觉测距，资料真的特别多网上，有matlab 的，python的，C++的，但个人感觉都不详细，对于小白，特别不容易上手，在这里我提供一个傻瓜式教程吧，利用matlab来进行标注，图形界面，无须任何代码，然后利用C++实现测距与深度图，原理太多我就不提了，小白直接照做就OK 1、准备工作 *硬件准备* https://item.taobao.com/item.htm?spm=_双目测距 xiao_run
随便推点
蓝桥杯 算法训练 数字三角形_l蓝桥杯 数字三角形-程序员宅基地
文章浏览阅读339次。算法训练 数字三角形 时间限制：1.0s 内存限制：256.0MB 问题描述 （图３.１－１）示出了一个数字三角形。 请编一个程序计算从顶至底的某处的一条路 径，使该路径所经过的数字的总和最大。 ●每一步可沿左斜线向下或右斜线向下走； ●1＜三角形行数≤100； ●三角形中的数字为整数0，1，…99； ._l蓝桥杯 数字三角形
获取Pandas列名的几种方法_pandas取列名-程序员宅基地
文章浏览阅读7.4w次，点赞25次，收藏108次。 获取DataFrame虽然是一个比较简单的操作，但是有时候到手边就是写不出来，所以在这里总结记录一下： 1.链表推倒式data = pd.read_csv('data/Receipt code January minute trading volume.csv')print([column for column in data])#打印结果['COUNT', 'S..._pandas取列名
第1关 输出 “Hello, World!“_1关hello world-程序员宅基地
文章浏览阅读363次。《C语言编程入门100题》实战编程，由WangTeacher精心制作，14+年专业程序员，精通多门编程语言，多年系统架构设计经验，从事网络安全行业，项目数过100,代码量过100W。 该课程将录制C语言入门编程100道编程题目，零基础，无门槛，喜欢都可以学习。配合另一个课程《C语言入门到精通》效果会更好。世上无难事，就怕有懒人。 ..._1关hello world
【BBO MTSP】生物地理学算法BBO求解单仓库多旅行商问题【含Matlab源码 3842期】-程序员宅基地
文章浏览阅读871次，点赞23次，收藏23次。生物地理学算法BBO求解单仓库多旅行商问题完整的代码，方可运行；可提供运行操作视频！适合小白！
Pygame游戏开发：添加游戏暂停功能_pygame暂停游戏-程序员宅基地
文章浏览阅读251次。在游戏开发中，游戏暂停功能是一个常见且重要的特性。当玩家需要暂停游戏时，这个功能可以提供便利，让玩家有时间休息、调整设置或者处理其他事务。在本文中，我们将学习如何使用Pygame库为我们的游戏添加暂停功能。现在，你已经成功地为你的Pygame游戏添加了暂停功能。当游戏暂停时，你可以选择不执行游戏逻辑更新和绘制操作，从而实现游戏的暂停效果。如果不是暂停状态，我们可以执行游戏的逻辑更新和绘制操作。你可以在注释的位置添加你的游戏逻辑。以上代码中，我们创建了一个800x600的游戏窗口，并设置了窗口标题。_pygame暂停游戏
CM+CDH 构建企业大数据平台_cm平台架构-程序员宅基地
文章浏览阅读1.2k次，点赞22次，收藏20次。CDH创建了一个功能先进的系统，可帮助您执行端到端的大数据工作流程。_cm平台架构