2023年6月30日发(作者：)

IMS软终端网络穿越方案语音QoE测试报告

IMS软终端网络穿越方案语音QoE测试报告

目 录

1 概述 ..................................................................................................................................... 4

2 测试版本及配套版本............................................................................................................. 4

3 测试范围 .............................................................................................................................. 5

4 环境描述 .............................................................................................................................. 6

4.1 测试组网 ........................................................................................................................ 6

4.2 分层激励方案 ................................................................................................................. 6

5 性能测试 .............................................................................................................................. 8

5.1 SVN性能测试 ................................................................................................................. 8

5.1.1 SVN性能测试观察点 ................................................................................................. 8

5.1.2 SVN并发性能测试结果分析 ...................................................................................... 8

5.2 CCProxy性能测试 .......................................................................................................... 8

5.2.1 CCProxy性能测试结果分析....................................................................................... 8

6 QoE测试 .............................................................................................................................. 9

6.1 测试观察点 ..................................................................................................................... 9

6.2 用户注册过程中的QoE体验 ............................................................................................ 9

6.3 用户呼叫过程中的QoE体验 .......................................................................................... 10

6.4 用户通话过程中的QoE体验 .......................................................................................... 11

6.4.1 PC to PC ................................................................................................................ 11

6.4.2 PC to Phone ........................................................................................................... 12

6.4.3 Phone to PC ........................................................................................................... 13

6.5 会议功能的QoE体验 ..................................................................................................... 14

7 带网络损伤的QoE体验 ....................................................................................................... 16

7.1 测试观察点 ................................................................................................................... 16

7.2 用户注册过程中的QoE体验 .......................................................................................... 16

7.3 用户呼叫过程中的QoE体验 .......................................................................................... 16

7.4 用户通话过程中的QoE体验 .......................................................................................... 17

7.4.1 PC to PC ................................................................................................................ 17

7.4.2 PC to Phone & Phone 17

7.5 会议功能的QoE体验 ..................................................................................................... 19

8 问题及解决方法.................................................................................................................. 19

8.1 带宽问题 ...................................................................................................................... 19

8.2 G．729问题 ................................................................................................................. 20

2019-10-12

第2页,共20页Page 2 , Total20

IMS软终端网络穿越方案语音QoE测试报告

139社区网络穿越方案语音质量QoE测试报告

关键词Key words：网络穿越 SVN QoE Proxy

缩略语清单List of abbreviations：

Abbreviations缩略语

Full spelling 英文全名 Chinese explanation 中文解释

SVN

QoE

IMS

USG

Security Virtual Network

Quality over Endpoint

IP multimedia Subsystem

Universal Security Gateway

安全虚拟网关

终端服务质量

IP多媒体子系统

统一安全网关

2019-10-12

第3页,共20页Page 3 , Total20

IMS软终端网络穿越方案语音QoE测试报告

1 概述

139社区网络穿越方案是基于现网139社区G3通话部署时遇到的防火墙、NAT穿越，端口聚合，代理穿越，防电信封杀，防窃听等问题提出的一套解决方案。本次测试主要是从E2E的角度对此方案的性能指标和用户业务体验效果进行测试。目的在于发现实际部署时可能出现的问题，及早解决掉。同时获取SVN和流行代理服务器的性能指标供现网部署时作为参考。

因此，本次测试共分为四个场景，各场景的功能描述如下：

场景一：由于此次测试侧重添加以后的影响，所以重点在对比数据上。因此修改一般性能测试的流程设计场景一为参考场景，用于获取没有隧道时的QoE数据。此场景完全不通过SVN和代理服务器，直接穿过企业侧防火墙以后进入IMS Core。本场景在环境搭建过程中完成测试，主要需要获取的指标有：没有隧道的情况下语音通话及电话会议的语音MOS值，媒体流的时延抖动丢包率，业务使用的带宽，业务会占用的防火墙session数量。

场景二：本场景模拟企业网的NAT上网场景，所有的流量进入SVN隧道，穿过企业边缘防火墙到SVN。本场景不使用代理服务器，在保持SVN满用户激励流的情况下测试所有用例。主要需要获取的指标为：隧道内外带宽，语音通话及电话会议的语音MOS值。隧道内媒体流的时延，抖动 ，丢包率，SVN隧道通过防火墙时所占用的session数量。本场景的另一个重要作用是测试出没有代理服务器的情况下媒体流的大小，以便与后面两种场景对比。

场景三：本场景模拟一般企业网的单层代理组网。G3通话业务的流量先进入SVN的SSL隧道以后再进入HTTPS代理。然后通过代理服务器中转，穿过企业防火墙后到达SVN服务器。按照计算，代理服务器在此场景中将会成为瓶颈。本场景主要目的一方面是为了测试在使用代理以后语音的QoE指标会下降多少，SVN隧道外的流量会增加多少以及防火墙上的session数量。另一方面是得出一个常用HTTPS代理服务器（这里我们使用CCProxy）的性能，供一线实施时参考。

场景四：本场景模拟广东移动公司内网的双层代理组网。G3通话业务流量进入SSL隧道以后先进入一级代理服务器，由一级代理服务器中转到二级代理服务器。本场景主要的测试目的是获取在使用二级代理的情况下语音的QoE指标下降了多少，SVN隧道外流量增加了多少，防火墙上的session数量。

2 测试版本及配套版本

设备名称 版本号

SVN3000 V1R2C02

6.02无用户限制CCProxy

版

USG5000 V1R2

2019-10-12

用途

SVN服务器

企业网代理服务器

SVN集群防火墙，使用NAT SERVER功能映射内网的服务器

第4页,共20页Page 4 , Total20

IMS软终端网络穿越方案语音QoE测试报告

测试工具表：

功能名称 生产厂家

模拟建立SSLSpirent

隧道

模拟https客IXIA

户端

备注

模拟SVN客户端与SVN建立Avalanche2500

多条SSL隧道

使用IxLoad模拟多个IxLoad3.40

https客户端

施加网络损伤用于测试TCP施加网络损伤

PacketStorm PacketStorm

带宽增加量

用于测试语音流的时延抖MOS值测试 安捷伦

TPA1.5

动丢包率以及MOS值

仪器型号

3 测试范围

本次性能&QoE测试的范围是：

1， 由于现网上大量企业的组网都有代理服务器，因此我们选择比较常用的代理服务器CCProxy进行简单的性能测试，一方面为场景三和场景四的流量激励做参考，另一方面为现网部署本方案是评估代理服务器能力做参考。主要测试的指标是CCProxy的最大处理能力和在最大处理量情况下主机CPU的占用率。

2， 在大用户量的情况下，用户注册，呼叫，通话和使用电话会议功能过程中的业务体验。主要需要测试的是业务时延，流量的时延，抖动，丢包率。同时重点关注业务的主客观体验。

3， 根据现网的问题，客户比较关注带宽占用情况和防火墙上的session数，以及端口聚合的问题。所以测试过程中需要重点关注这几个数据。在本报告中，这些数据放在QoE体验中描述。

2019-10-12

第5页,共20页Page 5 , Total20

IMS软终端网络穿越方案语音QoE测试报告

4 环境描述

4.1 测试组网

4.2 分层激励方案

此次的性能测试主要测试SVN的并发处理性能，对G3通话本身的服务器性能不作测试。流量激励主要施加在SVN服务器和代理服务器上。

流量施加工具：Avalanche，IxLoad

Avalanche主要用于对SVN的用户量进行激励，测试过程中与SVN建立SSL隧道。由于目前的SVN支持的是2000个session，所以在SSL隧道激励时使用2000个隧道。当测试两个PC之间互打电话时使用Avalanche与SVN之间建立1998个隧道，两台PC机建立2个隧道。其它如用户呼叫，用户注册等场景，使用Avalanche与SVN之间建立1999个隧道，另一个由PC机完成。在这些隧道中选取800个每一个注入85kb的恒定激励流量。使激励流接近此版本SVN的极限。

IxLoad主要的作用用于部署proxy的激励流量。由于代理服务器的性能没有达到SVN的能力，而且在双层代理的场景下代理服务器的性能进一步下降。而且代理服务器的版本众多，性能差异不小。所以我们只选择国内最常用CCProxy为测试目标，其它参照此代理服务器性能。由于无法预知代理服务器准确性能，所以测试时首先使用IxLoad测试出代理服务器最大能承受的连接数，再根据测试的用例在此基础上减少一两个连接后的数值作为激励流量，如果是测试PC客户端互播的用例就应该在代理服务器最大用户数上减二进行激励，然后再用两个PC补上这两个连接。

所有SSL隧道激励的流量起点为Avlanche，终点为SVN。

2019-10-12

第6页,共20页Page 6 , Total20

IMS软终端网络穿越方案语音QoE测试报告

所有Proxy的激励流量起点为IxLoad，终点为代理服务器。

流量激励图示：

SVN3000

Eudemon500 SVN集群内网

SBC，AA等服务器

SSL隧道激励流量

Proxy激励流量

LANSWITCH

网络损伤仪

Eudemon500

Avalanche

LANSWITCH 代理服务器

代理服务器

PC IxLoad PC

流量激励表：

测试点

在满负荷用户及流量状态下用户的注册时延

测试仪

session数

1999

max-1

1999

max-1

1999

max-1

1999

max-1

1998

max-2

1999

max-1

1998

max-2

1999

max-1

1998

max-2

1998

max-2

流量

800*85kb

(max-1)*85kb

800*85kb

(max-1)*85kb

800*85kb

(max-1)*85kb

800*85kb

(max-1)*85kb

800*85kb

(max-2)*85kb

800*85kb

(max-1)*85kb

800*85kb

(max-2)*85kb

800*85kb

(max-1)*85kb

800*85kb

(max-2)*85kb

800*85kb

(max-2)*85kb

Avalanche

IxLoad

网络存在损伤情况下用户的注册时延（满负荷Avalanche

状态）

IxLoad

Avalanche

在满负荷用户及流量状态下用户的呼叫时延

IxLoad

Avalanche

在存在网络损伤的情况下用户的呼叫时延

IxLoad

在满负荷用户及流量状态下PC与PC之间打电Avalanche

话的QoE指标

IxLoad

在满负荷用户及流量状态下PC与手机之间打Avalanche

电话的QoE指标

IxLoad

网络存在损伤情况下PC客户端之间通话的QoEAvalanche

指标

IxLoad

网络存在损伤情况下PC与手机之间打电话的Avalanche

QoE指标

IxLoad

在满负荷用户及流量状态下由一台手机和两Avalanche

台客户端组成的会议的QoE指标

IxLoad

Avalanche

在存在网络损伤的情况下电话会议的QoE指标

IxLoad

2019-10-12

第7页,共20页Page 7 , Total20

IMS软终端网络穿越方案语音QoE测试报告

5 性能测试

本次的性能测试的重点在SVN，同时关注代理服务器CCProxy。主要测试SVN的最大用户量和并发隧道能力，类似于单产品测试。

5.1 SVN性能测试

5.1.1 SVN性能测试观察点

测试点

用户并发隧道数

SVN用户容量

长时间建立拆除隧道稳定性

直接观察点

用户最大并发建立隧道数

SVN最大可以建立的最大SSL数量

间接观察点

长时间大用户量反复上线 测试时段内SVN的CPU占用率是否平稳

5.1.2 SVN并发性能测试结果分析

测试结果：

SVN最大并发隧道数：2000个

SVN最大用户量：2000个（每个用户占用一条隧道）

长时间建立和拆除隧道用例测试时间为8小时，CPU占用率在20%~100%之间来回波动。

5.2 CCProxy性能测试

5.2.1 CCProxy性能测试结果分析

服务器配置：主频：2.4 内存：512M 操作系统：Windows XP

测试结果：

CCProxy6.02最大可处理HTTP连接数：1497个

最大用户数：约100个

最大处理HTTP连接数时服务器CPU占用率为100%

内存增量210M。

在最大处理能力时再使用一台PC机通过代理服务器访问网页需要刷新几次才有响应。

在现网部署SVN的时候需要考虑代理服务器的能力，代理服务器的能力远不及SVN。

2019-10-12

第8页,共20页Page 8 , Total20

IMS软终端网络穿越方案语音QoE测试报告

6 QoE测试

E2E的性能测试与单产品的性能测试不同的是，单产品测试通常使用测试仪去测试设备的极限，得到一些数字，而E2E的性能测试需要关注的是用户真实的体验。通常使用测试模拟大量用户以后再使用一定量的真实用户完成业务，在这个过程中测试业务的主客观体验值。

6.1 测试观察点

1， 注册过程：注册时延，注册时隧道内外带宽，注册过程防火墙Session数

2， 呼叫过程：呼叫过程，呼叫过程中隧道内外带宽，呼叫过程防火墙Session数

3， 语音通话过程：语音通话的MOS值，语音的主观感受，语音的时延，抖动，丢包率。以及隧道内外带宽和防火墙Session数。

4， 会议功能：语音通话的MOS值，语音的主观感受，语音的时延，抖动，丢包率。以及隧道内外带宽和防火墙Session数。

6.2 用户注册过程中的QoE体验

注册时延：

呼叫时延2520s151050呼叫时延无隧道21隧道7.15一级代理二级代理22.6622.8

数据说明：场景二（即图中为“隧道”）测试时因为会议功能更换了客户端，此版本客户端对登陆速度做过优化，所以登陆速度大大加快。数据对比请参考无隧道，一级代理，二级代理三个场景。

隧道内外带宽：

呼叫时延2019-10-12

第9页,共20页Page 9 , Total20

IMS软终端网络穿越方案语音QoE测试报告

25005000隧道内平均带宽隧道外平均带宽无隧道982.179隧道一级代理二级代理2047.252916.389570.7792482.9091079.8191062.047

数据说明：由于G3通话注册过程中既有http的请求也有sip的报文，且有大量交互过程，因此测试它的平均带宽并不很重要，但是可以明显的看到，更换了登陆较快的客户端以后，隧道内外带宽明显增加。另外可以看出由于注册过程大量的HTTP交互，在通过隧道时带宽增加并不大。

每个用户的SSL隧道只占用一个session。

隧道内平均带宽隧道外平均带宽6.3 用户呼叫过程中的QoE体验

呼叫时延：

呼叫时延(s)543210呼叫时延(s)隧道内外带宽：

呼叫时延(s)无隧道3.89隧道2.91一级代理二级代理4.173

2019-10-12

第10页,共20页Page 10 , Total20

IMS软终端网络穿越方案语音QoE测试报告

126无隧道隧道一级代理二级代理隧道内带宽3702.0683705.6973704.8093758.1258392.9218522.8510372.305隧道外带宽

数据说明：可以看到隧道内的带宽与没有隧道的时候差不了多远，但是隧道外带宽搭建隧道以后增加近一倍，且添加一级代理和二级代理以后，隧道外带宽进一步增加。

每个用户的SSL隧道只占用一个session。

隧道内带宽隧道外带宽06.4 用户通话过程中的QoE体验

6.4.1 PC to PC

编码格式：G.729

MOS值：

MOS值

无隧道

3.9

隧道

3.9

一级代理

3.9

二级代理

3.84

可以看出在大流量激励情况下，四个场景的MOS值没有太大变化。

主观感受：

场景一：无隧道

场景二：隧道

场景三：一级代理

场景四：二级代理

主观感受

语音清晰，比较流畅，没有延时

语音清晰，停顿小

语音清晰，流畅

语音清晰，时延小

时延，抖动，丢包率：

2019-10-12

第11页,共20页Page 11 , Total20

IMS软终端网络穿越方案语音QoE测试报告

2520151050抖动(ms)丢包率(%)时延(ms)无隧道6.388019.98隧道7.22289019.98一级代理二级代理9.3989267.4398690020.0319.986

经过隧道后，抖动略有增加。

隧道内外带宽：

抖动(ms)丢包率(%)时延(ms)126无隧道隧道一级代理二级代理隧道内带宽3703.0173701.8853780.8453793.337854810024.86610427.957隧道外带宽

隧道内带宽隧道外带宽06.4.2 PC to Phone

编码格式：G.729

MOS值：

MOS值

主观感受：

无隧道

3.9

隧道

3.58

一级代理

3.76

二级代理

3.81

场景一：无隧道

场景二：隧道

场景三：一级代理

2019-10-12

主观感受

可以接受,比较清晰

语音清晰，停顿小

清晰度可以，手机侧听起来有点抖动

第12页,共20页Page 12 , Total20

IMS软终端网络穿越方案语音QoE测试报告

场景四：二级代理

语音清晰，延时小，抖动小

时延，抖动，丢包率：

40302010无隧道隧道一级代理二级代理4.32735.50756.0297.5877抖动(ms)0000丢包率(%)时延(ms)19.9975834.45720.04119.996

经过隧道后，抖动略有增加；代理服务器对抖动影响大。

隧道内外带宽：

0抖动(ms)丢包率(%)时延(ms)140002000无隧道隧道一级代理二级代理隧道内带宽3700.4833733.0433713.6133783.56204030.3974318.8949755.17隧道外带宽

隧道内带宽隧道外带宽06.4.3 Phone to PC

编码格式：G.711

MOS值：

MOS值

主观感受：

无隧道

4.4

隧道

4.4

一级代理

4.38

二级代理

4.4

2019-10-12

主观感受

第13页,共20页Page 13 , Total20

IMS软终端网络穿越方案语音QoE测试报告

场景一：无隧道

场景二：隧道

场景三：一级代理

场景四：二级代理

语音清晰，延时小，停顿小

语音清晰，停顿小

语音清晰，延迟小

语音清晰，延时小，抖动小

时延，抖动，丢包率：

2015105无隧道3.714抖动(ms)0丢包率(%)时延(ms)19.978890隧道一级代理二级代理4.6477.5197.70300019.9896819.9977219.9941抖动(ms)丢包率(%)时延(ms)

经过隧道后，抖动略有增加。

隧道内外带宽：

2005000无隧道隧道一级代理二级代理隧道内带宽10708.88810705.4710702.00410782.82214985.47513393.77716814.894隧道外带宽

隧道内带宽隧道外带宽06.5 会议功能的QoE体验

编码格式：G.729

MOS值：

2019-10-12

无隧道

隧道 一级代理 二级代理

第14页,共20页Page 14 , Total20

IMS软终端网络穿越方案语音QoE测试报告

MOS值

主观感受：

3.87 3.78 3.88 3.81

场景一：无隧道

场景二：隧道

场景三：一级代理

场景四：二级代理

时延，抖动，丢包率：

主观感受

语音清晰，延时小

语音清晰，停顿小，但一PC上声音很小

语音清晰，延时较小

语音清晰，延时小，停顿小

252015105无隧道隧道一级代理二级代理4.9944.9176.084抖动（ms）

3.3260000丢包率(%)20.0012619.9960420.0016619.99158时延(ms)

经过隧道后，抖动有增加，原因主要是采用了TCP协议传输。

隧道内外带宽：

0抖动（ms）

丢包率(%)时延(ms)126无隧道隧道一级代理二级代理隧道内带宽3699.7673700.783699.6833701.4078597.0737965.88710438.538隧道外带宽

隧道内带宽隧道外带宽02019-10-12

第15页,共20页Page 15 , Total20

IMS软终端网络穿越方案语音QoE测试报告

7 带网络损伤的QoE体验

7.1 测试观察点

带网络损伤的QoE测试与不带损伤的QoE测试的观察点差不多。

注册过程：注册时延，注册时隧道内外带宽，注册过程防火墙Session数

呼叫过程：呼叫过程，呼叫过程中隧道内外带宽，呼叫过程防火墙Session数

语音通话过程：语音通话的MOS值，语音的主观感受，语音的时延，抖动，丢包率。以及隧道内外带宽和防火墙Session数。

会议功能：语音通话的MOS值，语音的主观感受，语音的时延，抖动，丢包率。以及隧道内外带宽和防火墙Session数。

7.2 用户注册过程中的QoE体验

无隧道

丢包1%：PC客户端注21.94S

册的时延 丢包5%：21.37S

客户端注册过程中隧道内的平均带宽

隧道

丢包1%：6.91S

丢包5%：8.47S

丢包1%：1416.628

bytes/sec

丢包5%：1279.247

bytes/sec

丢包1%：2291.862

bytes/sec

丢包5%：1719.767

bytes/sec

客户端注册过程中隧道外的平均带宽

二级代理

丢包1%：丢包1%：24.25S

23.01S

丢包5%：24.41S 丢包5%：23.84S

丢包1%：丢包1%：1114.294 570.594

bytes/sec bytes/sec

丢包5%：丢包5%：780.739 337.730

bytes/sec bytes/sec

丢包1%：丢包1%：970.156 882.282

bytes/sec bytes/sec

丢包5%：丢包5%：730.687 553.972

bytes/sec bytes/sec

一级代理

7.3 用户呼叫过程中的QoE体验

无隧道 隧道 一级代理 二级代理

2019-10-12

第16页,共20页Page 16 , Total20

IMS软终端网络穿越方案语音QoE测试报告

PC客户端的呼叫时延

丢包1%：3.70S //呼叫接续时延

丢包5%：3.87S //呼叫接续时延

丢包1%：2.84S

丢包5%：3.05S

丢包1%：3.85S 丢包1%：3.28S

丢包5%：4.01S 丢包5%：3.16S

呼叫过程中隧道内的平均带宽

呼叫过程中隧道外的平均带宽

丢包1%：3701.765

bytes/sec

丢包5%：3739.278

bytes/sec

丢包1%：8519.105

bytes/sec

丢包5%：8307.790

bytes/sec

丢包1%：3844.019

bytes/sec

丢包5%：3710.193

bytes/sec

丢包1%：8518.447

bytes/sec

丢包5%：7858.799

bytes/sec

丢包1%：3859.993

bytes/sec

丢包5%：3705.148

bytes/sec

丢包1%：8219.111

bytes/sec

丢包5%：7764.088

bytes/sec

7.4 用户通话过程中的QoE体验

7.4.1 PC to PC

7.4.2 PC to Phone & Phone to PC

MOS值：

2019-10-12

第17页,共20页Page 17 , Total20

IMS软终端网络穿越方案语音QoE测试报告

时延，抖动，丢包率

隧道内外带宽：

2019-10-12

第18页,共20页Page 18 , Total20

IMS软终端网络穿越方案语音QoE测试报告

7.5 会议功能的QoE体验

8 问题及解决方法

8.1 带宽问题

从上面的测试数据可以看到，当使用SSL隧道时，呼叫过程中，隧道外即实际网卡上面的带宽增加较大，G.729编码格式下，基于SSL隧道的附加带宽增加近28Kbps。而且在网络质量不好的情况下，由于TCP重传的作用，带宽会进一步增加。

解决方法：通过SVN提供的UDP加密隧道封装以减少附加带宽和规避重传带来的带宽影响，但2019-10-12

第19页,共20页Page 19 , Total20

IMS软终端网络穿越方案语音QoE测试报告

需要接入侧支持UDP的接入能力，即需要在穿越能力和性能保障之间取得平衡点。

8.2 G．729问题

从测试数据可以看出，即使是没有隧道时，G.729的MOS值都不是很高。同时可以看出，G.729对网络损伤的容忍能力很差，711编码格式即使在丢包严重的地方也可以保持MOS值到4.0以上，但是这时729编码的语音流已经不能听清楚了。

解决方法：通过编码方式变更，保证QoS，如切换为在互联网领域广泛使用的iLBC编码或者带宽占用性小、包数量优化的AMR编码。

2019-10-12

第20页,共20页Page 20 , Total20