2023年11月26日发(作者:三星f619)
5G 8K VR直播技术方案
2020
一、项目需求
随着5G时代的到来,全球主要国家和地区纷纷提出制定了各自
的5G推进计划,加速5G商用进程。我国在“十三五”规划纲要中
明确提出“积极推进第五代移动通信(5G)和超宽带关键技术,启
动5G商用”的要求。5G作为新一代网络基础设施,是经济社会数
字化转型的关键支撑,中国正在积极推进5G标准和关键技术研究,
加速5G网络技术试验,应用创新以及商用部署工作,形成面向个人
用户、面向行业用户在相关领域的业务应用能力。
在《头号玩家》的示例下,直播+VR带来的“杀手级应用”始
终充满诱惑,如果能够呈现梦幻般的VR直播效果,无疑将极大助
推VR产业。浸入式的直播互动体验,则可以给直播行业带来全面
可能,如今,VR直播的技术积累似乎已经达到爆发前的临界点,创
维5G 8K VR全套直播技术支持与互动解决方案,是目前市面上唯
一支持8K直播的端到端解决方案。
直播本质是实时影像内容的传送,是突破空间限制,与5G、
与VR都有极强的关系:5G的高带宽和低延时会让高清8K直播变为
可能,5G驱动的VR则有望颠覆直播的体验,VR本身就可以让用户
“跨越时空”,比如在客厅模拟海滩、酒吧、会议室、健身房的场
景,VR与直播结合则可以让用户“身临其境”,比如用户通过VR
直播空降演唱会、生日Party、足球赛、电竞比赛、发布会现场,
甚至是一个教室、一间会议室、一个商场等等,注意,这都是实时
的,用户会拥有扎克伯格说的“临场感”和“存在感”,参与现场
互动。
不只是一些颠覆式的直播体验会出现,现在最普及的各类直
播,比如秀场直播、泛娱乐直播、游戏直播和企业商业活动直播,
VR也都可以大幅提升体验,增强沉浸感、参与感和互动感。VR直
播目前广泛应用于教育、文旅、展览展示、体育赛事、演唱会、医
疗等多种应用场景,借助5G的网络,VR直播将会有更多的应用场
景。
二、项目内容
1、 产品功能
5G 8K VR直播方案将5G和VR技术结合,依托5G网络的边缘计
算和切片技术,实现稳定可靠的8K VR图像传输,这种技术用于演唱
会,展览展示,文旅,教育等既有创新性又有很强的实用性。边缘云
的引入能够提供GPU集群计算能力,进一步优化网络时延,为用户提
供实时高清的8K探视体验,超高清全景直播,VR技术独有的临场感
让用户仿佛置身于现场,感受不一样的体验效果。
2
2、 产品设计理念
项目设计理念
因为直播使用5G CPE,所以全景相机连接路由器只要处在5G环
境中都能进行无线8K VR直播。直播时操作人员只需要打开摄像机电
源,通过WEB端直播管理平台点击直播按键就能实现傻瓜式一键直
播,无需进行繁琐的参数设置。
8K直播中,采集端通过5G边缘网将全景摄像头实时拼接的视频
流推送到5G核心网,核心网实时转码并分发到边缘网,边缘云采用
全视角传输或FOV传输技术将视频流传到VR观看终端。
直播管理平台不仅能处理直播流,将直播流推送到异地的观看终
端,也能在直播图像上实时的加入文字,特效,声音等信息。推流平
台还能储存和管理直播影像。
项目设计框架
8K视屏流
拼接好的8K视屏流
5GCPE
RTMP-H265
云服务器
8K视屏流
5G承载网
VR全景相机
8K拼接服务器5GCPE
云端8k直播管理平台
移动直播车
单台观看码率码率达到150
- 200Mbps
此方案核心包括3部分:前段全景相机和拼接服务器,中间云端8K
直播管理平台,终端直播观看设备。这三部分以5G固移融合网络、
边缘云为物理资源基础,实现异地实时8K VR全景观看。
3
3、 项目方案
1.开发策略:用新技术解决痛点问题,提升探视体验。
1.1为什么要采用8K VR全景直播
因为VR直播能带该观看者传统平面直播所没有的沉浸感,极大
地提升观看体验度。VR直播和普通的视频直播最大的区别就在于视
觉体验上的区别,所谓的屏幕将不复存在,你将成为第一视角,观
看范围不再由视频的制作者所决定,而是由你自己决定。你将完全
沉浸在现场中,当VR视频中呈现的是一片大草原时,你抬头仰望便
可看到草原碧蓝的天空,低头俯视便能看到脚下的绿地,平视远
方,便能看到远处的羊群和蒙古包。所以当VR直播用于展览展示,
文旅、赛事直播、教育等行业应用场景时,用户戴上VR头显,就犹
如身临其境现场,比普通的平面直播信息量更直观,视觉效果要更
高。
1.2为什么要采用8K技术
8K技术是一种视频技术系统名称,包括前端设备、编码压缩、
网络传输、播出设备和平台应用等方面,还要同步突破高分辨率、
高帧率、高色深、宽色域、高动态范围等多个维度技术,才能给为
观众带来颠覆式、更具感染力和沉浸感的临场体验。8K分辨率,即
7680×4320像素, VR全景视频体验需要更多的像素点。按照体验
的角度,8K是VR的入门和起步,为什么这样说?全景VR直播特别
适合有临场感需求的场景,就像探视者想到床边探视自己的亲人。
4
VR头显是戴在头上的,不像看电视有固定的3米距离,戴上VR头
显时就像是整个屏幕移到了眼前,这样的话需要的分辨率是非常高
的。
从上表可以看出VR全景视频在4K分辨率时大约等同于240P的
平面视频体验,连标清都没达到。头显分辨率对应的像素密度是
11PPD,距离60PPD差得太远,所以4K VR图像连入门的标准都不
到,8K全景视频才是入门标准,从表上可以看出对应的屏幕像素密
度是22PPD,相当于标清电视的视频体验。做到了体验者可以接受
的范围内,所以说8K 360度视频是VR对高清视频的基础要求。
我们又做了一个观看实验,让体验者实际观看直播流在不同格
5
式不同分辨率下的图像,实际观看结果是只有当画质达到8K,80M
码率的时候才能给体验者带来较好的体验感。所以得出结论,VR直
播要采用8K画质。
1.3 为什么要依托5G技术
5G采用移动边缘计算机制,即将处理逻辑下沉到网络的边缘,
也就是更靠近用户的基站上。一旦用户发出请求,数据便可以在极
短的时间内传输到基站,而基站也可以更快速地给用户以反馈。
正是基于这种高效的传输机制,5G网络才能够让VR/AR应用在移动
终端的时延极大地缩短。根据IMT-2020制定的指导方针,5G将提
供1毫秒的OTA往返延迟。实际上,当延迟小于10毫秒时,人类就
基本无法察觉到画面的延迟。因此,5G的到来将会彻底消除VR使
用中由时延所带来的眩晕感,从而真正提升VR直播的体验感。
5G 8K云VR
内容平台
6
2. 项目设计:
项目设计中的两个核心组成部分:8K VR头显和8K直播管理平
台。
2.1 8K VR头显
8K VR头显采用创维自主研发的V901 VR一体机作为终端观看
设备,此设备的优势在于独特的机内8K硬件解码功能,在不需要
接入外部设备的情况下通过连接5G WiFi就能直接观看8K视频
流,使用起来简单方便,也大大减少了成本。硬件上使用了最先进
的4K屏幕,让图像毫无纱窗感,头显还支持FOV传输、眼球追
踪、ATW等VR创新技术。此外V901符合人体工程学的设计和超轻
的设计给使用者很好的佩戴体验感,让用户更专注的观看VR直播
内容。
2.2 8K直播管理平台
目前创维已完成基于5G网络的8K VR直播管理平台的研发。8K
VR直播平台具备包含转码、云存储服务、流媒体服务、播放鉴权等
7
能力,支持8K全景视频高码率直播/点播服务;直播管理平台实现
“云化”,大大降低了本地部署的成本,直播图像通过5G网上传到
云端直播管理平台,推流平台不仅能对直播流进行转码,将直播流
推送到异地的观看终端,也能在直播图像上加入特效,音乐和文字
等信息,直播管理平台支持HLS、RTMP等流媒体直播服务。直播管
理平台不仅能实现直播储存视频内容的管理,还能根据用户的需求
加入其它录播内容,这些内容也可以通过网络分发到观看终端让新
生儿父母观看学习,
8K VR直播管理平台在功能上主要划分为1.内容聚合层、
能力层、运营层。在内容聚合层客户可以将有关VR直播和录
播内容发布到云端内容平台,这些内容可以以付费或免费的形式让
用户进行观看。VR能力层作为云VR 内容平台的主要功能层,负责
8K VR直播内容的云转码存储及云渲染服务、VR视频的云点播服
务、VR实时内容处理等,保证稳定的VR体验以及效果。VR运营层
主要负责VR内容组织和运营平台的管理、计费结算和数据平台的维
护管理。使用者层为使用者提供相应的功能,包含用户端头显与平
台的适配管理、登录鉴权、应用的更新、维护、管理以及平台系统
的门户展示。
8
发布者:admin,转转请注明出处:http://www.yc00.com/num/1701001971a1043626.html
评论列表(0条)