2023年6月28日发(作者：)

竞品分析测试方案

竞品分析测试方案

1 测试哪些竞品？

将RCS的业务进行划分，各自选择1~2款当前最流行的APP应用作为竞争产品进行分析，其中：

 视频业务区分ios平台和android平台，分别选择FaceTime和微信作为分析对象；

 消息类业务区分国内外的流行软件，国内主要是微信，海外主要是whatsapp业务，分析过程中同时拿两款app作为分析对象；

 呈现类业务，目前做的最好的软件微信作为分析对象；

 综合指标部分选择和RCS业务最相似的微信和skype作为分析对象。

对比项 RCS 微信 Skype

音频业务

视频业务

消息类业务

登录注销

呈现类业务

性能指标

2 测试哪些维度？

功能完备性 Qos 主观评价

√ √ √

√

√

√

√

√

√

√

√

√

√

√

Whatsapp

FaceTime

√

测试维度

静音、外放、DTMF、音量音频业务

控制方式、业务触发入口、其在不同网络质量下的通话质量、最优结合主观概念进行综合评价 它特色功能、编解码、拨号盘、质量的网络要求

历史记录 竞品分析测试方结合主观概念进行综合评价

案

静音、外放、DTMF、音量视频业务

控制方式、摄像头切换、音视频互换、窗口隐藏、业务触发入口、编解码、其它特色功能

回执、输入状态、表情、消息类共享内容、群聊、业务触发入业务

口

自动登陆、静默登陆、网登录注络状态提示、其它特殊业务

销

在不同网络质量下的通话质量、最优质量的网络要求

在不同网络质量下的业务成功率.时延等

对网络状态的敏感程度、登陆耗时

结合主观概念进行综合评价

结合主观概念进行综合评价

呈现信息的内容、内容大呈现类小，图片质量

业务

各种呈现信息更新的成功率和时延

结合主观概念进行综合评价

业务场景下的流量、电性能指量、内存、CPU、安装包大小

标

不涉及 结合主观概念进行综合评价

用例体验

评估RCS的用户体验以及对比分析竞品之间的差异

Qos测试基于网络有一定网络话务模型下进行竞品测试。根据《QoS&话务模型&性能规格》（2013-7-22刷新）中的定义，典型网络QoS模型如下：

注：

1、 其中WIFI/宽带接入为必选场景，3G接入/2G接入为可选场景。

2、 “丢包率、时延、抖动”等数值均指一侧的数据，即指UE->SBC->IMS(AS)的数据。需要注意的是，在测试部分场景时，需要在两个UE侧加扰，比如在测试音频的“WIFI:较差”场景时，需要在UE1->SBC->IMS(AS)一侧按照"丢包：11.5%，时延：215ms，抖动：100ms"加扰，同时需要在UE2->SBC一侧也按照"丢包：11.5%，时延：215ms，抖动：100ms"加扰。 竞3

品测试哪些项？

分析测试方案

3.1 音频业务

3.1.1 功能完备性

针对音频呼叫的功能完备性，进行如下维度的功能完备性测试

类型

业务发起入口

来电铃声大小控制

接听方式

界面呈现信息

静音功能

音频呼叫

外放功能

DTMF

信息查询

转CS呼叫

编解码

切换视频呼叫

补充业务

与呼叫的冲突

通话记录查询

通话记录删除通功能

话记录

通话记录详情界面信息呈现

拨号盘搜索

拨拨号盘删除功号盘

能

其其它特色功能

来电铃声的大小控制，在各种手机情景模式下的来电铃声

包括锁屏状态下的接听、正常下的接通

在振铃态通话态各自能够呈现多少信息？

是否支持

是否支持

在通话态能够并行操作多少业务

支持哪些编解码

包括PS业务的冲突和CS呼叫的冲突

功能点 测试点描述 竞它

3.1.2

品分析测试方案

Qos质量

在对比测试过程中，各个影响参数的设置如下：

设置项

组网

编解码

2198冗余

针对语音呼叫的Qos分析，需要测试的关键指标如下（包括统计方法）：

关键指标

接通率

接续时长

语音时延

MOS

3.2 视频业务

3.2.1 功能完备性

以DSLA的测试数据为准 以DSLA的测试数据为准

以DSLA的测试数据为准

连续测试10次，计算接通率

从日志中获取接续时长

连续测试10次，计算接通率

通过外部计时的方式实现（秒表）

以DSLA的测试数据为准

RCS Skype

RCS的主流组网（内置SVN）

使用默认编解码opus

支持（按照默认配置支持二级冗余）

默认配置（安装后默认配置）

RCS Skype

针对视频频呼叫的功能完备性，进行如下维度的功能完备性测试

类型

业务发起入口

视来电铃声大小频呼叫

控制 来电铃声

来电铃声的大小控制，在各种手机情景模式下的

功能点 测试点描述 竞品分接听方式

界面呈现信息

静音功能

外放功能

DTMF

摄像头切换

窗口切换

窗口隐藏

信息查询

编解码

切换音频呼叫

补充业务

与呼叫的冲突

析测试方案

包括锁屏状态下的接听、正常下的接通

在振铃态通话态各自能够呈现多少信息？

是否支持

是否支持

在通话态能够并行操作多少业务

支持哪些编解码

包括PS业务的冲突和CS呼叫的冲突

其它

3.2.2

其它特色功能

Qos质量

在对比测试过程中，各个影响业务的参数设置如下：

设置项

组网

编解码

RCS的主流组网（内置SVN）

音频编解码视频opus；视频编解默认配置（安装后默认配码使用H.264

置）

2198冗余

针对视频呼叫的Qos分析，需要测试的关键指标如下（包括统计方法）

关键指标

RCS Skype

支持（按照默认配置支持二级冗余）

RCS FaceTime/微信 竞品接通率

接续时长

视频质量

分析测试方案

连续测试10次，计算接通率

从日志中获取接续时长

连续测试10次，计算接通率

通过外部计时的方式实现（秒表）

ICT工具评测（工具正在调试，如果不能完成测试，则采用视频主观判断）

视频主观判断（只针对主观感受对比）

音频质量

MOS

以DSLA的测试数据为准 以DSLA的测试数据为准

以DSLA的测试数据为准 以DSLA的测试数据为准

3.3 消息类业务

3.3.1

类型

业务发起入口

草稿保存

状态显示

输入状态显示

表情

消息分页加载

单来电提示方式

聊

界面呈现信息

消息置顶

单聊支持的内容

消息同源

其它特色功能

群聊

群聊发起入口

群聊支持的内

功能完备性

功能点 测试点描述 竞品容

分析测试方案

群聊人数限制

群聊的参数

其它特色功能

图片共享入口

图片共享

照片墙

点击下载

其它特色功能

位置

位置共享入口

其它特色功能

共享入口

PTT时长

PTT取消

PTT

PTT信息显示

PTT播放模式

其它特性功能

共享入口

名共享的信息项

片共享

其它特色功能

共享入口

视频文件共享

支持的格式

文件大小限制

点击下载

其它特色功能

3.3.2 Qos质量

【IM业务】

在IM业务的对比测试过程中，各个影响业务的参数设置如下：

设置RCS 微信 竞项

消息模式

品分析测试方案

Session模式（RCS默认模式）

默认配置（安装后默认配置）

组网

消息内容

MSRP over TCP

根据Qos测试要求设置 根据Qos测试要求设置

针对IM业务的Qos分析，需要测试的关键指标如下（包括统计方法）

关键指标

成功率

时延

连续测试10次，计算接通率

从日志中获取接续时长

连续测试10次，计算接通率

通过外部计时的方式实现（秒表）

【位置业务】

位置业务使用IM消息发送，测试结果以IM业务的测试结果为准，不针对位置业务进行独立的Qos测试。

【图片共享】

在图片共享的对比测试过程中，各个影响业务的参数设置如下

设置项

消息模式

置）

组网

共享内容

针对图片共享的Qos分析，需要测试的关键指标如下（包括统计方法）

MSRP over TCP

根据Qos测试要求设置 根据Qos测试要求设置

Session模式（RCS默认模式）

默认配置（安装后默认配RCS 微信

RCS 微信 竞关键指标

品分RCS

析测试微信

方案

成功率

时延

连续测试10次，计算接通率

从日志中获取接续时长（时延从何时开始？何时结束？）

连续测试10次，计算接通率

通过外部计时的方式实现（秒表）

速率 文件大小/发送时长（指端到端的？还是单向？双向？）

【名片共享】

名片共享业务使用IM消息发送，测试结果以IM业务的测试结果为准，不针对名片共享进行独立的Qos测试。

【视频文件共享】

在视频文件共享的对比测试过程中，各个影响业务的参数设置如下

设置项

消息模式

置）

组网

共享内容

MSRP over TCP

根据Qos测试要求设置（是否可以采用自身的录制时间为准，录制画面如何处理）

针对视频文件共享的Qos分析，需要测试的关键指标如下（包括统计方法）

关键指标

成功率

时延

连续测试10次，计算接通率

从日志中获取接续时长（时延从何时开始？何时结束？）

连续测试10次，计算接通率

通过外部计时的方式实现（秒表）

RCS 微信

根据Qos测试要求设置

Session模式（RCS默认模式）

默认配置（安装后默认配RCS 微信 竞速率

品分析测

试方案

文件大小/发送时长（指端到端的？还是单向？双向？）

【PTT共享】

在PTT共享的对比测试过程中，各个影响业务的参数设置如下

设置项

消息模式

置）

组网

共享内容

MSRP over TCP

根据Qos测试要求设置（是否可以采用自身的录制时间为准，录制画面如何处理）

针对PTT共享的Qos分析，需要测试的关键指标如下（包括统计方法）

关键指标

成功率

时延

连续测试10次，计算接通率

从日志中获取接续时长（时延从何时开始？何时结束？）

速率 文件大小/发送时长（指端到端的？还是单向？双向？）

3.4 登陆注销（包括断网重连）

3.4.1

类型

登陆注销

开机自动登陆

后台运行

功能完备性

功能点 测试点描述

连续测试10次，计算接通率

通过外部计时的方式实现（秒表）

RCS 微信

根据Qos测试要求设置

Session模式（RCS默认模式）

默认配置（安装后默认配RCS 微信 竞品开销户

分析

测试方案

失败原因提醒

终端状态的检测

IM下的断网重连

断音视频下的断网网重连

重连

内容共享的断网重连

3.4.2 Qos质量

测试RCS和竞争产品在现网WiFi网络上的注册时长和成功率，每种场景测试10次，取其平均值作为测试结果。

3.5 呈现类业务

3.5.1

类型

呈现的内容

内容刷新周期

呈Presence信息的现类

显示

好友发现的方式

3.5.2 Qos质量

功能完备性

功能点 测试点描述

RCS和微信在Presence业务上的实现存在一定的差异。测试策略如下：

呈现内容

登录状态

有“离线”和“在线状态”实时呈现在联系人列表

签名刷好友更新签不自动更新，点击业务时延：微信从现

没有登录状态的呈不进行Qos测试

RCS 微信 测试分析 竞新

品分名后，自动更新在联系人列表中

析测试方案

好友签名时更新 手动刷新开始，rcs已好友更新时间开始

成功率：正常统计

头像更新

好友更新头像后，自动更新在联系人列表中

不自动更新，点击好友头像时更新

业务时延：微信从手动刷新开始，rcs已好友更新时间开始

成功率：正常统计

好友发现

自动发现好不自动发现，手动不进行Qos测试

友，周期可以配置 发起好友检测（根据QQ联系人/手机联系人），检测到好友后，需要手动发起增加为好友的操作。

3.6 性能指标

性能测试指标是除业务完备度和用户体验外，最直接的竞争力体现。本测试方案针对安装包大小CPU、内存、流量、电量、流畅度进行对比测试。

3.6.1 安装包大小

比较软件的安装包大小。

3.6.2 CPU

对于APP来讲，CPU测试和内存测试根据如下几点考虑测试场景。

 在相对稳定的状态进行CPU的测试和对比；

说明：对APP的稳定状态进行测试，因为用户一般不会感受到CPU的飙高，CPU的对外呈现是终端的发热量、app的使用流畅度。对于操作过程瞬时状态用户较难察觉，因此竞品测试过程中基于如下两个原则设计场景：

 针对场景进行的通用性。

说明：由于软件的业务和架构不同，无法做到很细节场景的对比，因此测试过程中关注业务场景，对应的配置以默认配置为准。某些业务独有的特性在业务实现完备性章节进行测试，不在性能指标中作为专项测试。

基于以上原则，抽象出以下几种测试场景： 竞品1、 后台运行

分析测试方案

场景构造：空联系人，同一款终端，登陆10分钟后在后台运行。

测试方法：观察CPU的占用持续5分钟。

2、 前台运行

场景构造：空联系人，同一款终端，登陆10分钟后在后台运行。

测试方法：在被测系统运行在前台，按照正常使用速度且在“1级”页面切换，观察CPU的占用持续5分钟。

3、 IM聊天过程中

场景构造：每个终端1个联系人。两个终端之间互发进行操作。

测试方法：按照如下顺序循环发送，若不支持则跳过。A发送消息给B；B发送消息给A；A发送表情给B；B发送表情给A；A发送照片给B；B发送照片给A；A发送名片给B；B发送名片给A；循环操作，持续5分钟观察cpu变化。业务结束后须持观察CPU5分钟。

4、 音视频呼叫过程中

场景构造：每个终端1个联系人。

测试方法：从呼叫开始前30s开始到呼叫接触后持续观察5分钟。呼叫持续5分钟。

3.6.3 内存

同CPU测试场景，抽象出以下几种测试场景：

1、 后台运行

场景构造：空联系人，同一款终端，登陆10分钟后在后台运行。

测试方法：观察CPU的占用持续5分钟。

2、 前台运行

场景构造：空联系人，同一款终端，登陆10分钟后在后台运行。

测试方法：在被测系统运行在前台，按照正常使用速度且在“1级”页面切换，观察内存的占用持续5分钟。

3、 IM聊天过程中

场景构造：每个终端1个联系人。两个终端之间互发进行操作。

测试方法：按照如下顺序循环发送，若不支持则跳过。A发送消息给B；B发送消息给A；A发送表情给B；B发送表情给A；A发送照片给B；B发送照片给A；A发送名片给B；B发送名片给A；循环操作，持续5分钟观察cpu变化。业务结束后须持观察CPU5分钟。

4、 音视频呼叫过程中 竞品分析测试方案

场景构造：每个终端1个联系人。

测试方法：从呼叫开始前30s开始到呼叫接触后持续观察5分钟。呼叫持续5分钟。

3.6.4 流量

流量测试采用第三方软件进行统计。采用《瓦力流量仪》作为测试工具

预置条件：区分android和ios平台，Android使用防火墙屏蔽其他APP访问网络，ios在后台删除掉非被测软件和统计工具外的其它APP应用。软件的设置项采用APP应用的默认设置。

测试场景：

1、 空跑一轮

不安装被测软件，只安装统计工具，目的是将测试结果作为参考基线，减少测试过程中误差

2、 登陆

被测软件均统计在安装软件后首次登陆消耗的流量。由于当前RCS做成自动发现好友。在和不同软件时间进行对比时，需要完成的流程如下：

被测对象

RCS 1、 使用老号码；

2、 进行首次登陆；

3、 启动CAB之后，进行一轮CAB好友发现

微信

1、 使用老号码；

2、 进行首次登陆；

3、 进行一轮号码本匹配

友

说明：得到测试数据后，需要结合好友数量才能比对产品之间的测试数据。

3、 后台运行1个小时

登陆成功后在后台运行1个小时。

4、 前台运行1个小时

登陆成功后在前台运行1个小时。被测软件停留在登陆后的默认页面，关闭系统锁屏功能。

5、 IM发送文本50条（测试3组数据）

友

3、 下载好友信息

1、 登陆流程

2、 下载好友信息

3、 自动匹配联系人中好1、 登陆流程

2、 自动匹配联系人中好操作步骤 后台完成动作 竞品分析测试方案

终端A和终端B登陆后，互发IM文本消息，互发30分钟，文本内容固定为“1”->“50”依次增加1.

6、 音频10分钟

以默认编解码进行测试

7、 视频10分钟

以默认编解码进行测试

3.6.5 电量

电量测试继承使用版本测试的方法，使用如下几种测试场景进行和竞品的分析。

1、 后台运行12个小时；

2、 视频呼叫1个小时；

3、 音频呼叫1个小时；

说明：iOS平台直接读取iPhone自身电量显示。Android平台采用第3方电量测试工具（金山电池医生）显示电量。测试时通过杀死后台程序的方式仅保留被测软件和测量工具。

3.6.6 发热量

本方案暂时不关注

3.6.7 流畅度

流畅度的测试在本版本首次执行，作为一个独立的测试项，需要输入单独的文档，本文档不进行描述，具体测试方案请参考《RCS Client V100R005C00流畅度测试方案》

3.7 用户体验评估

3.7.1 测试思路

将RCS的业务抽象成各种任务，这些任务的集合能够覆盖RCS的主要功能场景（超过90%）。测试人员在执行这些任务的过程中评估用户的体验效果。

3.7.2 任务划分

测试任务划分如下，所有测试任务的其实页面均从登陆后的默认页面开始。

任务编号

任务01

任务视频呼叫 从联系人详情中发起视频呼叫

音频呼叫 从拨号盘发起音频呼叫

任务名称 任务描述 竞02

任务03

任务04

任务05

任务06

任务07

任务08

任务09

任务10

任务11

任务12

任务13

任务14

任务15

任务16

品分析测试方案

删除呼叫记录

发起IM

删除某个联系人的所有通话记录

从联系人详情中发起1-1聊天业务

接收IM 被测软件在后台运行，收到IM消息后，查看IM消息，且回复

发送图片 从联系人详情中发起图片共享业务（即时拍）

发送视频 从联系人详情中发起视频文件共享业务（被测系统进行录制）

发送名片 从联系人详情中发起名片共享业务（从联系人中选择）

发送PTT 从联系人详情中发起PTT文件共享业务

发送位置 从联系人详情中发起位置共享业务

接收图片 在登陆后的默认页面，收到好友发送过来的图片，浏览后保存到本地

接收视频 在登陆后的默认页面，收到好友发送过来的视频文件，浏览后保存到本地

接收名片 在登陆后的默认页面，收到好友发送过来的名片，浏览后保存到本地联系人

接收位置 在登陆后的默认页面，收到好友发送过来的位置并浏览

接收PTT 在登陆后的默认页面，收到好友发送过来的PTT并收听

删除聊天记录

删除某个联系人的聊天记录 竞任务17

任务18

任务19

任务20

任务21

任务23

3.7.3

分类

品分发起群聊

析测试方案

发起三个人的群聊，并在群里面发起内容

搜索联系人 从联系人界面出发，搜索联系人并查看详细信息

增加联系人 增加号码为新增联系人

删除联系人 从联系人界面出发，搜索联系人并删除联系人

修改头像和签名

NAB

修改头像和签名

发起联系人备份和恢复操作

评估指标

基本指标 描述

用户可以看见和发现相关的信息（包视觉混淆、无法发可识别性 括文案、图标、图形等），并将该信息和现信息、依赖记忆

其它信息区分出来

用户理解该信息（包括文案、图标、概念混淆、概念错可理解性 图形等）的内容，用户理解的信息和真实误

世界保持一致，容易学习

可能关键错误指标

流程性错误操作、无效操/ 页面性指标

灵活/容错性

反馈

视觉与体验

用户可以自由选择合适的操作方式，允许用户出错

用户知道自己完成了相关的操作

理解和识别

评估产品的外观、色彩、风格、质感---

等相关的视觉体验

无可选择性、无法退出

无反馈、反馈无法可操作性 用户可以进行正确操作

作、操作时间过长 竞品分帮助信息

析测试方---

案

有帮助信息，利于检索的帮助信息，可以理解的帮助信息

操作一致相似的操作方式

性

视觉一致相似的外观、色彩、风格、质感等

性

整体性文案一致指标

性

继承性

习惯

模式进行操作

3.7.4 附件

少出错提示信息

和过去的版本具有共同一致特征

用户可以根据现有的习惯或标准化--

违反一般习惯，缺相似意义 理解错误

理解和识别错误

错误操作

【体验评估表】

用户体验评估表.xlsx 竞

品分析测试方案