2024年4月30日发(作者：笔记本电脑买什么牌子好)
(19)中华人民共和国国家知识产权局
(12)发明专利说明书
(21)申请号 CN2.4
(22)申请日 2014.11.28
(71)申请人 北京航空航天大学
地址 100191 北京市海淀区学院路37号
(72)发明人 楼奕华 于海亮 王梦云 吴文峻
(74)专利代理机构 北京科迪生专利代理有限责任公司
代理人 杨学明
(51)
H04N19/167
H04N19/124
H04N19/146
H04N17/00
(10)申请公布号 CN 104410860 A
(43)申请公布日 2015.03.11
权利要求说明书 说明书 幅图
(54)发明名称
方法
(57)摘要
本发明公开了一种高清ROI视频实
一种高清ROI视频实时质量调节的
时质量调节的方法，该方法步骤为：第
一，实时获取含ROI高清视频的质量评估
值；第二，优化x264编码器，使之适应高
清ROI视频的编码需求；第三，结合ROI
提取检测技术和带宽检测技术，发送端编
码视频时做到带宽资源的最大化利用以及
视频质量的最大化。本发明以含ROI视频
质量评估模型为基础，并结合基于ROI的
快速H.264编码方案，实现了一种高效、
可靠的视频实时调节系统。
法律状态
法律状态公告日
法律状态信息
法律状态
权 利 要 求 说 明 书
1.一种高清ROI视频实时质量调节的方法，其特征在于：该方法步骤为：
第一，实时获取含ROI高清视频的质量评估值；
第二，优化x264编码器，使之适应高清ROI视频的编码需求；
第三，结合ROI提取检测技术和带宽检测技术，发送端编码视频时做到带宽资源
的最大
2.根据权利要求1所述的一种高清ROI视频实时质量调节的方法，其特征在于：所
述
步骤1、多分辨率视频G.1070质量评估模型参数拟合；
步骤2、提出一种适用于ROI视频扩展的G.1070模型，引入了一个ROI视频质量
加权
步骤3、对加权系数w与ROI面积占总面积的比例SROI、ROI带宽占
总视频带宽比例 PROI进行曲线估计，得到完整的含
系数w；
的实时获取含ROI高清视频的质量评估值，具体步骤为：
化利用以及视频质量的最大化。
ROI视频质量评估公式。
3.根据权利要求1所述的一种高清ROI视频实时质量调节的方法，其特征在于：所
述
的优化x264编码器使之适应高清ROI视频的编码需求具体为：
步骤1、修改x264编码器量化模块，允许对同一帧的不同宏块赋予不同的量化参
数值；
步骤2、限制同一帧内ROI部分和背景部分宏块的帧内参考和帧间参考范围，当前
宏块
步骤3、修改码率控制模块，对ROI部分分配更多比特，对背景部分分配更少比特。
只能参考相同量化参数的区域；
说 明 书
技术领域
本发明涉及视频实时质量调节的技术领域，具体涉及一种高清ROI视频实时质量
调节的
背景技术
自从世界上首部模拟技术可视电话于1964年诞生于美国贝尔实验室以来，实时多
媒体 交互系统在日常工作、生活中扮演着越来越不可或缺的角色，与实时
服务也得到了充分地重视和发展，尤其是在全球
被广泛地应用于商业沟通和
等。
方法。
视频传输相关的技术和
一体化现象凸显的今天，实时视频通信应用
日常交流等领域，其中比较有代表性的应用有Facetime、Skype
视频会议系统面世以来相当长的一段时间内，视频的质量是制约视频会议系统发展
的首 要因素。一般来说，实时多媒体应用程序由于对实时性的要求较高，
网络状况的要求更高，需要更高的带宽来保证视
以及硬件的发展，主流的个
用户对
相对于其他应用程序对
频传输的流畅性和清晰度。随着多媒体技术
人电脑和终端多媒体应用中高清、高质量的应用比例逐步增多，
多媒体的质量要求也相应水涨船高，视频会议系统实现实时720P、1080P乃至更
高清 的视频传输是一大发展趋势。然而，高质量的视频传输需要更高的带
业起步晚，虽然发展迅速，但是目前和发达国家
告，是国外媒体2014年公
2013
宽要求。我国的宽带事
还存在差距。2013年中国互联网感知数据报
布的一份数据。数据显示，得益于中国“宽带中国”战略的发布，
年中国平均网络速度为3.45Mb/s，相比2012年第四季度的2.59Mb/s提高了33.2％。
虽 然中国整体带宽水平有了较大的提升，但是带宽的质量参差不齐。数
的带宽接入介于256Kb/s～2Mb/s之间，2Mb/s～据显示，中国41.56％
5Mb/s以上带宽接入比例为40.17％，超过5Mb/s 的超宽带宽占比甚至
达到18.07％，仍有0.20％的用户使用的带宽在256K以下。相比于固定
宽带，移动端宽带资费和质量更不具有优势，视频会议系统在移动终端的发
极大制约。因此，如何有效解决高质量视频和有限带宽
发展面临的重要问题。
展受到了带宽的
之间的矛盾，仍是视频会议领域技术
研究表明，人对图像或视频质量的主观感觉有侧重性，往往重点关注图像或视频中
的某 一个或几个区域，这部分区域对主观质量的影响权值较大，相应其他
像或视频质量影响比
景一般
区域影响则较小，对图
较大的区域被称为感兴趣区域(Region of Interest，ROI)。视频会议场
比较单一，感兴趣区域主要集中在人脸和手部位置上，背景部分关注点较少。在带
宽 有限的前提下，根据视频画面重新分配有限带宽，赋予ROI更多的
宽，能有效地在较低带宽条件下加强整体视频画
流媒体的传输。
带宽，背景部分更少的带
面质量，也更有利于限定带宽下的高清实时
视频质量调节需要对视频质量进行量化评价，在此基础上按照调节标准重新调整画
面质 量，实现当前带宽下的最优质量。视频质量的评价是质量调节的基础
频质量评价量化值是系统实现的前提。目前主流
和客观评估。视频质量主观
视频质
和保证，获得准确的视
的视频质量评估方法主要有两种：主观评估
评估方法以评测者的主观感受为基础，得到的评测值更符合人对
量的感受，但是对评测者自身的要求较高；视频质量客观评估方法以视频的相关参
数 来计算质量值，较于主观评估法快捷、省时、省力。主观评估和客观
说，视频会议系统由于其实时性的要求，大多采
基准进行质量调节。
评估各有利弊，一般来
用客观评估的方法计算视频质量值，以此为
随着多媒体技术的发展，当今视频的画面越来越精细，分辨率也在逐步增大，同几
年前 的主流视频质量相比不可同日而语，但由于视频质量的好与坏涉及到
人眼、人脑的感知，这 种主观感受难以具体量化，所以目前视频质量评
价并没有一套得到普遍认可的标准。
目前视频质量评估主要由两种方法：主观评估和客观评估。这两种评估方法的主要
区别
(1)视频质量主观评估法
视频质量主观评估法采用观察者的主观感受作为评测标准，评测时将待评估的视频
序列 播放给观察者看，由观察者给出视频质量的分数，然后对所有观察者
出其平均值作为评估结果，这个结果通常也被称
MOS)。
在于评估的主体不同，主观评估主体是人，客观评估的主体是计算机。
的打分进行统计，计算
为“平均估计分值”(Mean Opinion Score，
总体来说，视频质量评估方法由于是通过人对视频的主观感受评分得出的意见值，
与计 算机评测值相比更符合大多数人对视频质量标准的认可程度。同时，
机制提出了更高的要求，一般需要比较多的评分
投入大，历时长；评分者主
求；主
这也对视频质量的评分
样本来获得较为准确的数据，人力和物力的
观因素对结果影响大，因此对评分者评分素质、态度也有较高要
观评测需要人为介入，难以在实时流媒体视频质量控制中得到应用。
(2)视频质量客观评估法
视频质量客观评估方法基于利用计算机仿照人眼视觉模型对视频质量进行客观的计
算 评估。与主观评估方法相比，客观评估方法在实时性方面更具优势，
较少，尽管客观评估对于评测的条件要求也
方法在结果准确性方面有待提高，视频质量的客观评估方法在诸多实时
流媒体质量传输控制中被采用。
客观评估方法通常需要比较压缩前后的视频数据，往往是通过对每一帧画面的比对，
计
ITU-R视频质量专家组(ITU-VQEG：Video Quality Experts Group)是专门研究和规
范 视频质量客观评估方法和标准的国际组织，VQEG定义了两个与视频
信噪比(Peak Signal Noise Ratio，PSNR)和均方差
和PSNR的计算公式分别如公式
算出压缩后视频信息的丢失量，通过数学推导得出视频质量分值。
质量相关的参数：峰值
(Root Mean Square Error，MSE)。MSE
(1.1)和公式(1.2)所示。
/mi>
1 >n
w>
sub> aths> aths> 相比于视频质量主观评估方法，客观方法的PSNR和MSE计算简便快速，因此客 观方 法称为一种很常见的方法，用来测量压缩和解码视频图像的质量， PSNR分值越高表示视频 的质量越好。 但是，PSNR分数与视频质量的契合程度并不是完全一致，研究表明，在某些情况 下存 在PSNR分数高的视频质量反而比PSNR分数低的视频质量差的情况。 并不能代表主观质量值，人眼的视频模型对整体图像的 某些观察敏感区的质量更为依赖， 之一。 一个特定的PSNR值 质量损耗并不是均匀分布的，而是对 这也是视频质量客观评估方法准确性低于主观方法的原因 ITU-T G.1070推荐标准提出了一种电话视频质量估计的算法，应用G.1070模型能 估计 视频会话中端到端的服务质量。该模型由3个估计函数组成：视频质 评价函数以及多媒体质量综合评价函数。G.1070 频质量、语音质量以及多媒 量评价函数、语音质量 模型的输入是和会话相关的参数，输出是视 体综合质量。 本发明与G.1070模型中的视频质量评估与研究内容相关。G.1070的视频质量评价 模型 的输入参数有比特率、帧率、视频编码方式、端到端延迟、丢包率等 量Vq表示为这几项输入参数的函数，相关信息，视频评估质 如(1.3)式所示。 1 >{ >
aths>
其中Icoding表示信源编码失真，Pplv表示丢包率，表示丢
包环境中视频稳定性程度。
G.1070模型的应用存在一些局限性，主要体现在在实时视频质量控制过程中，
G.1070 模型的计算量较大且存在部分误差，这是
和网络丢包率是实时
因为G.1070模型涉及的三个参数：比特率、帧率
变化的。实时视频传输时，资源竞争比较激烈，在应用G.1070模型控
制质量时，需要结合带宽检测、丢包率检测等技术手段，加大了视频传输端
的压力。
G.1070模型给出的视频质量评估公式其中包含了12个常量参数，这些参数取决于
编码 器类型、视频格式、关键帧间隔以及视频显示尺寸等。ITU-T G.1070
的推荐系数，对于其他情况，该标准也给出了通标准给出了部分情况下
用的计算方法。
采用ROI编码的方式可以有效地缓解视频质量与带宽之间的矛盾关系，同时，采
用ROI 编码导致每一帧的图像需要经过两次编码，而对于高清实时视频来说，
机制来减少视频编码时间。目前实时视频的编码
用了混合视频编码设计，结
的准确
必须采取一种有效的
主要采用H.264标准，H.264编解码标准采
合结合帧间预测、帧内预测、变换、熵编码等手段，在提高预测
性及压缩比的同时，大大提高了视频的压缩效率。总体来说，H.264标准在实时视
频 编解码领域拥有不可替代的作用。对于含ROI视频，现有的H.264
效率上的要求。为解决高清含ROI视频H.264
改造，设计并实现一个适应
标准难以满足质量和编码
编码效率问题，本发明将对x264编码器进行
ROI视频编码的x264编码器。
本发明通过对含ROI视频质量的研究以及x264编码器的改造，实现高清含ROI视
频的 实时质量调节功能。
发明内容
本发明的目的在于：给基于视频会议场景下的高清ROI视频质量评估与实时调节，
具体 研究目标为：在视频会议场景的高清实时视频传输中，结合ROI提
下的含ROI高清视频的传输，实现有限带宽下
清含ROI视频的质量评估
特点，
取检测技术，实现该场景
的最大质量视频传输；实验探寻一种适用于高
方法，应用到实时流媒体传输中；针对高清视频及含ROI视频的
优化改进编码器，实现编码效率上的优化；最后整合系统，实现一个含ROI高清
视频 实时质量调节的系统，该系统能达到实时性强、编码效率高、质量对
快速有效的效果。 带宽依赖小、质量调节
为实现上述目标，本发明采用的技术方案为：一种高清ROI视频实时质量调节的
方法， 该方法步骤为：第一，实时获取含ROI高清视频的质量评估
使之适应高清ROI视频的编码需求；第
端编码视频时做到带
值；第二，优化x264编码器，
三，结合ROI提取检测技术和带宽检测技术，发送
宽资源的最大化利用以及视频质量的最大化。
进一步的，所述的实时获取含ROI高清视频的质量评估值，具体步骤为：
步骤1、多分辨率视频G.1070质量评估模型参数拟合；
步骤2、提出一种适用于ROI视频扩展的G.1070模型，引入了一个ROI视频质量
加权
步骤3、对加权系数w与ROI面积占总面积的比例SROI、ROI带宽占
总视频带宽比例 PROI进行曲线估计，得到完整的含ROI视
系数w；
频质量评估公式。
进一步的，所述的优化x264编码器使之适应高清ROI视频的编码需求具体为：
步骤1、修改x264编码器量化模块，允许对同一帧的不同宏块赋予不同的量化参
数值；
步骤2、限制同一帧内ROI部分和背景部分宏块的帧内参考和帧间参考范围，当前
宏块
步骤3、修改码率控制模块，对ROI部分分配更多比特，对背景部分分配更少比特。
本发明与现有技术相比的优点在于：
(1)、本发明的基于G.1070模型适用于ROI视频的质量评估模型，提出了一种ROI
视 频质量和背景视频质量加权的概念，并在ROI视频质量加权系数w
视频相关的两个因素——ROI面积占比
只能参考相同量化参数的区域；
的讨论中引入了与ROI
SROI和ROI带宽占比PROI。首次提出将ROI视频质
量与G.1070视频质量评估模型结合以获得含ROI视频质量评估公式的方法，
准确，可应用在实时场景中进行含ROI视频质量计算。质量评估效果
(2)、本发明的基于ROI的快速H.264编码方案，针对标准H.264标准不能一次编
码含 ROI视频画面的缺点作出改进，使其适用于含ROI视频的编码，大
本章的研究内容基于x264编码器实现，从编码
于高清ROI视频的编码效
大提高编码效率和速度。
器层次提升了含ROI视频编码效率，尤其对
果提升更加明显。
附图说明
图1为H.264编码框架图；
图2为基于ROI的快速H.264编码算法框架图。
具体实施方式
下面结合附图以及具体实施例进一步说明本发明。
一种高清ROI视频实时质量调节的方法，该方法具体步骤为：
第一，实时获取含ROI高清视频的质量评估值；
所述的实时获取含ROI高清视频的质量评估值，具体步骤为：
步骤1、多分辨率视频G.1070质量评估模型参数拟合
关于G.1070视频质量评估模型，G.1070模型中关于视频质量Vq的评
估函数表示为信源
编码失真
Icoding的指数衰减函数：
1 >{ > aths> (2.1)式中：Pplv表示网络丢包率，表示丢包鲁棒性性因子(视频在丢包 环境中质 量的鲁棒性程度)。Vq为视频质量评估值，其值分 量最优。Icoding布范围为从1到5，1为质量最差，5为质 表示信源编码失真，其与编码器有关。 从(2.1)式可知，视频质量客观评价结果受信源编码失真、丢包率和视频码流稳健性 程 msub> o>) mrow> mi>V aths> 其中Ofr表示在特定比特率Brv下使视频质量最好的最优 帧率，其可以表示为： Ofr＝ v1+v2BrV 1≤Ofr≤30v1 >,v2为常数 (2.3) IOfr表示在特定比特率Brv下最优的视频质量得分，其可 度影响。其中信源编码失真Icoding表示为(2.2)式。 表示为： mo>≤ n> b>为常数 (2.4) Dfr表示在帧率Frv下的视频质量鲁棒程度，其可以表示为： DFrV＝ v6+v7BrV,0<DFrV， v6,v7为常数 (2.5) 和帧率及比特率存在如式(2.6)所示的关系： /mn> 2 /mn>
> >v8,v9,v10,v11 ,v12为常数 (2.6) 公式(2.1)到(2.6)是G.1070给出的视频质量评估公式，其中 v1,v2,...,v12是12个常量 参数，这些参 数一般利用对实验数据进行最小二乘逼近的方法获得，G.1070标准文档对其中 几个进行了参数的视频质量公式进行了参数的拟合，并给出了相应的实验过 程和结果。 G.1070标准文档中给出了包括QQVGA(160×120)、QVGA(320×240)、 VGA(640×480) 在内的若干种分辨率的视频质量评估模型系数评估结果， 说明，并且对于其他分辨率视频 公式还不得而 对于其他分辨率视频的参数未作出 (尤其是高清视频)是否依然满足上一小节的视频质量评估 知。 本发明涉及到多种分辨率视频的质量评估，将通过拟合多种分辨率下的G.1070视 频评 估公式常数参数，根据各部分相关系数来验证G.1070模型对H.264 频的适应性。本发明编码下的多种分辨率视 研究的视频分辨率除G.1070推荐标准中已经包含的几种分辨率，还包 括176×144，352×288，800×600，960×720，1024×768，720P(1280×720)， 这几种分辨率。 1080P(1920×1080) 从G.1070视频质量评估模型的公式(2.1)到(2.6)可知，影响视频质量的因素可以分 为两大部分：编码器相关部分和网络相关部分。其中v1， 参数，而v2，...，v7是与编码器相关的常量 v8，v9，...，v12这几个参数与网络相关。在 进行参数拟合过程中，两部分参数分 开进行拟合，在对于编码器相关参 拟合时保证编数进行拟合时去除网络丢包影响，在对网络相关参数进行 码器相关参数不变。 在参数拟合过程中，分别对相关参数进行控制，编码出视频序列，通过主观评测后 获取 该视频的评测分值，经过处理得到平均意见值，平均意见值的分数范 大，视频质量越好，其分值的意义如表1所示。 量与各参数之间的关系，进 过用拟 围为1至5分，分数越 运用最小二乘逼近的方法，最终得到视频质 而可以分析得出G.1070视频质量评估模型的各参数值，最后通 合后的曲线与原始实验数据进行相关性检查，用于验证G.1070模型对该分辨率视 频 表1平均意见值表 body> (1)编码器相关系数拟合 完整的G.1070视频质量评估公式如公式(2.7)所示： 1 mo>- 适应性。 v
o>+ n>2 >+
mn> n>
mn>
aths>
进行编码器相关系数拟合时，网络丢包率设置为0，那么G.1070视频质量评估公
式可以
1
mo>-
改写为(2.8)式的形式。
v
o>+ n>2 >+
mo>-
>
由(2.8)式可知，与视频质量评分相关的因素有比特率和帧率，设置不同的参数，对
编
表2带宽、帧率、质量值关系表
(Brv) 码后的视频评测后得到相应的评测值，如表2所示。 ntry> ntry> ntry> Vqs(bn,fn)表示在比特率bn和帧率 fn条件下的视频质量平均意见值，由评测者对相应参数 进行评分后统计得出的平均分值。 公式(2.3)(2.4)(2.5)分别表明了特定比特率Brv下使视频质量最好的最优 帧率Ofr、 特定比特率Brv下最优的视频质量 的视频
entry>
评分值IOfr以及特定帧率Frv下的视频质量鲁棒程度
Dfr三 者分别与比特率Brv的关系。
Ofr、IOfr、Dfr可以通过对原始实验的离散数
据进行最小二乘逼 近得到连续函数后得出，得到比特率Brv
与相应的Ofr、IOfr、Dfr一系列数据集，如表
3所示。
表3带宽和最优帧率、最优视频质量评分值、视频质量鲁棒程度关系表
带宽(Brv) (Ofr) (Iofr) entry> try>b2 try> entry> try>… /entry>
表3中的bn和On的数据按照公式(2.3)进行最小二乘逼近，
得到v1，v2参数值；将bn和In的
数据按照公式(2.4)进行最小二乘逼近，得到v3，v4，
v5参数值；将bn和Dn的数据 按照公
式(2.5)进行最小二乘逼近，得到v6，v7参数值。所有与编
码器相关的参数都通过计
(2)网络相关系数拟合
与网络相关的参数是公式(2.6)中的v8～v12，其中涉及到
比特率Brv和帧率Frv，采用控 制变量的方法，
算得出。
首先控制比特率Brv为固定值，则公式(2.6)可改写为：
/mn>
aths>
其中，a为常数值，用于辅助计算，对结果没有影响。
固定比特率Brv，得到如表4中所示的视频质量受丢包影响的鲁棒性
程度Dpplv与帧率Frv的数据集。将fn和
Dn的数据按照公式(2.9)进行最小二乘逼近，得到得到v8，
v11，a参数
同理，控制帧率Frv为固定值，公式(2.6)可改写为：
/mn>
maths>
其中，b为常数值，用于辅助计算，对结果没有影响。
固定帧率Frv，得到如表5中所示的视频质量受丢包影响的鲁棒性程度
Dpplv与比特率Brv的数据集。将bn和
Dn的数据按照公式(2.10)进行最小二乘逼近，得到得到v9，
v12，b参
表4特定比特率下丢包率、帧率、丢包鲁棒性程度关系表
数值。 值。 程度 Dpplv 1 entry> try>… 表5特定帧率下丢包率、比特率、丢包鲁棒性程度关系表 程度 Dpplv 1 entry> try>… 经过上述过程，我们可以得到v8，v9，v11， v12的值，将这些参数值代入公式(2.9)或 者公式(2.10)，可以 ntry> entry> entry> /entry>
计算得出v10的值。至此，G.1070视频质量评估模型中的12个参数值
全部可以获得，进而可以通过与实验数据的相关性程度检验其与G.1070质
量评估模型的契
合程度。
步骤2、提出一种适用于ROI视频扩展的G.1070模型，引入了一个ROI视频质量
加权
含ROI视频的ROI和背景部分视频质量存在着明显着明显的差异，我们可以将其
当做 两个拼接在一起的视频：背景部分是一个质量较差、分辨率较大的视
好、分辨率较小的视频。背景部分视频和ROI
因为ROI视频的质量显然
量评分
系数w。
频，ROI是一个质量较
视频均可以适用于G.1070视频质量评估公式。
要优于背景部分的质量，而最终含ROI视频的综合质量是两者质
的折衷，即含ROI视频的综合质量评分应该介于背景部分视频和ROI视频质量评
分 之间。所以，我们引入了一个加权系数w(0≤w≤1)，含ROI视频综合
质量VROI、背景部分视频
质量Vq与ROI视频
质量VBase的关系为：
Vq＝w*VROI+(1-w)*VBase 0≤w≤1 (2.11)
含ROI视频的综合质量由ROI部分视频质量VROI和非ROI部分视频
质量VBase共同决定， w为ROI部分视频质量权值，
0≤w≤1，VROI和VBase由标准G.1070视频质量评估模型
计算得
步骤3、对加权系数w与ROI面积占总面积的比例SROI、ROI带宽占
总视频带宽比例 PROI进行曲线估计，得到完整的含ROI视
出。
频质量评估公式。
加权系数w的确定是获得含ROI视频综合质量的关键，加权系数w应该体现ROI
相关 因素对视频质量的影响。考虑到ROI面积以及ROI与背景部分的质
的综合质量产生影响，所以我们做出假设，w与
总视频带宽比
量差异大小都会对最终
ROI面积占总面积的比例SROI、ROI带宽占
例PROI有关，如公式(2.12)所示。
w＝f(SROI,PROI) (2.12)
对含ROI视频质量评估模型中的加权系数w估计首先需要准备多种分辨率及ROI
尺寸 的含ROI视频(ROI面积占总面积的比例SROI和ROI带
后分别计算出公式宽占总视频带宽比例PROI不同)，然
(2.11)中的ROI视频质量VROI、背景部分视频质量VBase，
之后对含ROI 视频进行主观评测实验获得含ROI视频的质量评分值
Vqs。通过实验我们可以获得若干组Vqs，
VROI，VBase，SROI，
PROI的数据集，如表6所示。
表6Vqs，VROI，VBase，SROI，
PROI关系表
通过对表6中每一组数据的ROI视频的质量评分值Vqs与ROI视频质
量VROI、背景部分 视频质量VBase按照公式
数
(2.11)进行最小二乘逼近，可以得到每一组数据的最佳ROI加权系
ws，得到加权系数ws与SROI，
PROI的数据集，如表7所示。
表7ws，SROI，PROI关系表
系数(w) ntry> ry>s2 为了进一步得到加权系数w与ROI面积占比SROI，ROI带宽占比 PROI的关系，接下来 常见的曲线估计模型一般有一下几种：一元线性模型，二次函数模型，复合函数模 型， 生长模型，对数函数模型，三次函数模型，S型曲线模型，指数函数 辑函数模型等。一般最终选择判定系数 对表7中的数据进行曲线估计。 ntry> entry>
模型，幂函数模型，逻
R2值最大的模型作为变量间的曲线估计模型。
对于含ROI视频质量评估模型中加权系数w来说，其取值与ROI面积占比
SROI，ROI 带宽占比PROI均有关，两个变量的
计的方式，即曲线估计难度大，准确率难以保证，可以采用分步曲线估
先对ROI面积占比SROI相同的若干组数据分别进行曲线估计，确定
加权系数w 与ROI带宽占比PROI的曲线模型，进而对模型
线估计，得到中的参数与ROI面积占比SROI再进行一次曲
加权系数w与ROI面积占比SROI，ROI带宽占比PROI的
关系。
将加权系数w的数学公式代入到公式(2.11)中，即可得到含ROI视频的质量模型，
其
第二，优化x264编码器，使之适应高清ROI视频的编码需求；
对于含ROI视频的H.264编码，需要根据ROI与非ROI采用不同的量化参数进行
编码， 由于H.264的预测编码特性，可能会出现某一部分的宏块参考
况，造成对图
质量评估效果可通过皮尔森相关系数检验。
了其他不同量化参数宏块的情
像造成影响。目前含ROI视频常采用两次编码的技术来解决这个问题，即分别
对ROI和非ROI部分进行编码，然后将其拼接起来，这种方法能有效解决
效率不高。用这种方法编码视频时每一帧ROI画面需
面准确地拼接在一起，在编码时间
来说，这种低
显示问题，但是
要进行两次编码操作，还需要将两幅画
和编码内存空间上都造成了比较大的浪费，对于高清视频
效率的编码方式难以满足实时性的要求。
为实现同时编码含ROI视频同一帧的宏块，我们提出了一种低复杂度ROI编码算
法，
本发明不研究ROI的划分方法，对于系统来说，需要输入ROI的范围信息，之后
由编 码器对宏块是否在ROI范围内进行判定，对于ROI部分的宏块，设
时修改码率控制部分使之获得较多的比特数，非
的范围由一帧细化到一个宏
应用在x264编码器中。
置较低的量化参数，同
ROI部分则获得较少的比特数，这样，量化
块，图2是按照上述算法改进的H.264编码框架图。
图2中的ROI判断模块、量化模块、码率控制模块、帧间参考模块和帧内参考模
块是对 原本算法进行改进的部分，ROI的检测提取不在本文的讨论范
过某种ROI提取技术手段获取ROI的尺
坐标的信息，作为参
围内，实验开展的前提为已通
寸和坐标位置。ROI的信息，包括ROI尺寸和起点
数传递给编码器。编码器在编码过程中，首先对编码的宏块区域判断该
宏块是否在ROI范围内，ROI和背景部分的宏块量化参数值(QP)分别设置
值作为参数传入)。对QP进行修改后，需要对码率控制的部
ROI和背景部分的比特率与其量化参数相
需要进行修改，分别
为指定值(QP
分进行相应地适应性修改，使得
适应。同时，帧内和帧间的参考帧序列相关部分也
建立ROI和背景部分的参考帧队列，对于ROI的帧内和帧间参考只参
实验中选择了x264编码器进行了ROI编码策略的修改，尽管x264编码器结构复
杂，模 块之间界限模糊，修改难度大，但是x264编码的编码效率和
上述基于ROI的快速H.264编码方案，
率都有了比较大地改
考ROI的参考帧队列，背景部分只参考背景部分的参考帧队列。
优化效果有很大的优势。使用
能实现一次编码含ROI视频的效果，编码速度和效
善，能满足高清含ROI视频快速编码的要求。
步骤1、修改x264编码器量化模块，允许对同一帧的不同宏块赋予不同的量化参
数值。
通过修改H.264编码算法的量化模块，在编码时，对ROI部分进行细量化，即降
低ROI 部分的量化参数，而对非ROI部分进行粗量化，从而给ROI分配更
上的损失。实现同一帧视频数据编码时对ROI
的量化参数。
多的比特数，减少质量
部分的宏块和背景部分的宏块赋予不同参数值
步骤2、限制同一帧内ROI部分和背景部分宏块的帧内参考和帧间参考范围，当前
宏块
只能参考相同量化参数的区域。
分别建立ROI和背景部分的参考帧队列，对于ROI的帧内和帧间参考只参考ROI
的参
步骤3、修改码率控制模块，对ROI部分分配更多比特，对背景部分分配更少比特
对码率控制的部分进行相应地适应性修改，使得ROI和背景部分的比特率与其量
化参数
第三，结合ROI提取检测技术和带宽检测技术，发送端编码视频时做到带宽资源
的最大
视频质量实时调节策略以本发明方法获得的含ROI视频质量评估公式为基础，同
时采用 改进的基于ROI快速H.264编码技术，进行视频传输的实时
(1)在接收端可用带宽大于当前视频带宽
宽的利用率，使整体
化利用以及视频质量的最大化。
相适应。
考帧队列，背景部分只参考背景部分的参考帧队列。
反馈。质量调节实现的目标有：
时，能通过提高ROI或背景部分的质量，提高带
的视频主观感受得到提升；(2)在接收端可用带宽小于当前视频带宽时，
及时降低ROI或背景部分的质量，调整视频带宽使其在可用带宽范围内；
视频的特点，能在限定带宽下找到较为合适的ROI/背
质量调节快速有效。
(3)针对含ROI
景部分量化参数分配值；(4)实时反馈，
对于上述目标，本文提出了一种基于反馈的质量调节策略。首先，如果当前可用带
宽和 视频带宽相差较大，含ROI视频能马上更改ROI和背景部分的量化
比特率与可用带宽相差不大，这步也可以成为
ROI视频进行带宽和量化参
调整当
参数，使下一帧视频的
“粗调”，“粗调”的参数可通过对多种分辨率含
数的分类统计获得，“粗调”对数据要求不十分精确，只求能尽快
年带宽使之匹配可用带宽，“粗调”适用于质量调节伊始或者网络带宽发生突变的情
况；当“粗调”完成，当前带宽与可用带宽处在一个相对差距不大的条件时，
开始进行“精调”， “精调”通过对下两帧视频画面的量化参数做试探性修改，
值，选择使质量值最高且带宽不高
当“精调”执行
并计算质量，比较连续三帧的质量
于可用带宽的量化参数，作为下一次“精调”的起始参数；
若干次之后，在网络带宽不发生突变的情况下，视频质量及参数趋于稳定，此
时可暂停质量调节功能以节约资源，等网络带宽发生较大变化时，再重启质
重复上述过程。 量调节功能，并
系统的质量调节策略基于实时信息反馈的量化参数调整，能根据实时网络带宽状况
作出 迅速地调节，一般通过几帧或十几帧的调整即可达到接近于最优质量
在网络状况稳定时能主动关闭调节反馈功能，缓的视频画面，耗时较少，
解计算压力。
本发明未详细阐述部分属于本领域技术人员的公知技术。
发布者：admin，转转请注明出处：http://www.yc00.com/num/1714441315a2447100.html
评论列表（0条）