您的当前位置:首页正文

软件测试报告模板

2024-04-22 来源:钮旅网
产品名称 进销存系统 产品版本 V3.0 密级 秘密 共15

XXXXXXXX软件系统测试报告

拟制: 审核: 批准:

日期: 日期: 日期:

修订记录

日期

修订版本 修改章节 修改描述 作者

1 版本概述....................................................................................................................................... 4

1.1 版本情况说明 .................................................................................................................... 4 1.2 版本测试定位 .................................................................................................................... 4 1.3 测试过程所遇到问题 ........................................................................................................ 5 1.4 版本特性与配套表 ............................................................................................................ 5 1.5 测试版本情况 .................................................................................................................... 5 1.6 测试环境组网图 ................................................................................................................ 6 2 测试结果分析 ............................................................................................................................... 6

2.1 回归情况统计 .................................................................................................................... 6 2.2 当前版本(xxxx)测试结果 ............................................................................................ 7 2.3 当前总遗留问题严重程度分布 ........................................................................................ 7 2.4 缺陷分析 ............................................................................................................................ 7 2.5 测试用例执行统计 ............................................................................................................ 7 1.1 测试用例覆盖率 ............................................................................................................... 7 1.2 本轮测试执行覆盖率 ........................................................................................................ 7 2.6 问题情况走势 .................................................................................................................... 8 2.7 问题走势分析 .................................................................................................................... 8 3 主要结论和关键风险 ................................................................................................................... 9

3.1 主要结论 ............................................................................................................................ 9 3.2 特性质量分析 .................................................................................................................... 9

3.2.1 频道播放 ............................................................................................................... 9 3.2.2 EPG ....................................................................................................................... 9 3.2.3 硬件(InfoLink C2511 I30 V100R001C02)质量分析 ...................................... 9 3.3 关键风险---可以列表形式记录 ........................................................................................ 9 4 附件 ............................................................................................................................................ 10

4.1 遗留问题列表 .................................................................................................................. 10

XXXXXXXX软件系统测试报告

1 版本概述

1.1 版本情况说明

产品采用C2511集成方案;软件则继承自C2510温州双向D009版本,并进行温州最新定制需求开发,集成茁壮3.0 Lite中间件。--版本背景描述:

InfoLink C2511 I30 V100R001C056D001:为该项目第1个转测试版本。该版本涉及以下特性:播放、EPG、搜索、频道管理、系统设置、VOD、可测试性、生产装备、串口升级、频道预定、DB、CA,在NDS认证前使用的boot和loader是测试版的codeldr。

InfoLink C2511 I30 V100R001C056D002:该版本修改较大,不仅集成了广告功能、BAT节目分类新的需求,同时对系统设置界面进行更换、iPanel更换为新库和V0D库更换为新的Client 2.0,还有修改了部分遗留系统测试问题。该版本修改功能点以下所示:

 系统设置界面  VOD点播界面。  广告功能

 BAT节目分类功能。  iPanel库版本为10085

 VOD库版本为HuaweiVODClient2.0  系统测试遗留部分问题

说明:该版本修改较大,后续将全面重新测试。

1.2 版本测试定位

D001版本:是第一个转测试版本,该版本测试策略是对各特性基本功能进行全面测试,并对重点特性的重点性能、压力进行测试。

D002版本:是在D003版本基础上进行增加新功能、更新VOD、茁壮新库,同时还修改部分系统测试遗留问题,所以该版本修改较大。

根据测试策略执行,对所有的功能模块进行测试,重点是对该版本新集成功能块、修改功能点,回归问题进行验证。由于VOE环境搭建有限,无法对VOD CABLE流、时移业务、回看和录像功能进行测试,同时,开发人员在现场进行了一轮基本的VOD的测试作为辅助。

1.3 测试过程所遇到问题

NO. 问题简述 级别 分析/说明/意见/备注 1、继续调整实验室时移环境,尽量构造完整、稳定的时移测试环境;2、该部分在正式批量发货发版本发布前,由测试组织(如果有问题需要现场开发则由开发人员、或测试组人员在现场执行)现场测试时移至少一轮 1、借助抓包工具进行抓包分析,分析定位问题;借助泽华源等,分析和播放VOD服务器推的音视频流,分析定位问题; 2、请开发人员协助定位问题。 1.广告图片下载显示由茁壮测试验证为准。 1 VOD特性由于实验室环境有限,回看、录像、智能卡认证等功能无条件测试,时移业务在实验室的环境尚不稳定,只高 能满足时移基本功能测试; 2 VOD功能相关问题,较多涉及前端服务器,难以确定是前端服务器问题还是机顶盒软件问题 中 3 EPG广告图片显示测试,由于测试码流有限,只能能根据码流提供描述条件进行测试。 中 1.4 版本特性与配套表

基本特性 Loader DB Stock CA 硬件支持描述 中间件/硬件版本 NDS 茁壮3.0Lite 茁壮 NDS Infolink C2511 (BCF:I30) 版本号 302 10070 10070 3.65.12 Release 28.01.00HR 1.5 测试版本情况

测试版本 计划起止时间 实际起止时间 15-08-06 ~15-08-06 15-08-09 ~15-08-09 测试人员 XXXX XXXX 问题要求回归率 第一个版本 致命问题100% 严重问题80% 问题实际答复率 第一个版本 严重问题xxx% Infolink C2511 15-08-06 I30 D001 ~15-08-06 Infolink C2511 15-08-09 I30 D002 ~15-08-09 1.6 测试环境组网图

2 测试结果分析

2.1 回归情况统计

回归通过率:80% 个数 比例 总数 127 总回归数 回归通过 回归不通过 83 65.35% 83 100% 0 注: (1)虽然该项目基础版本是经过多轮测试的C2510温州双向版本,但该版本修改问题较多,回归的问题大部分是开发自测试发现的问题。

(2)由于VOD双向业务较多涉及前端服务器,业务出现问题需要定位是前端服务器问题还是终端STB问题,所以经开发定位分析,有部分测试提交问题并非STB问题,这些问题作为非问题关闭,但会把这些问题以问题列表跟踪,提交给VOD前端开发人员。 回归不通过的问题: 跟踪号 简述 严重级别 是否重现 紧急程度

无条件回归问题: 跟踪号 简述 严重级别 是否重现 严重 严重 紧急程度 2.2 当前版本(xxxx)测试结果

当前版本(XXX)新问题

D002新问题总数 32 致命问题 0 严重问题 2 一般问题 7 轻微问题 23 2.3 当前总遗留问题严重程度分布

当前版本(XXX)最后缺陷统计 总遗留问题 83

图1 问题严重程度分布图

致命问题 1 严重问题 7 一般问题 23 轻微问题 52 0%0 致命0 严重2一般40%3 提示60%

2.4 缺陷分析

无。

2.5 测试用例执行统计

1.1 测试用例覆盖率

测试用例覆盖率 全部 计划值 实际值 偏移度 备注 1.2 本轮测试执行覆盖率

测试执行覆盖率 计划值 实际值 偏移度 备注 说明:本轮测试没有覆盖用例,需要说明是哪些功能点和原因; 本轮测试只是回归问题,同时对回归问题功能模块进行展开探索性测试,根据测试执行策略,没有执行测试用例。

举例说明:

本轮测试没有执行的用例主要包括,

VOD特性:实验室没有环境测试的功能,按照策略此类功能在正式发布前到现场测试,重点是需要验证IPQAM点播方式、时移、回看、录像、智能卡认证等;VOD特性需要长时间测试的用例及部分较难构造的异常测试,如长时间拔卡,长时间拔网线,手动破坏书签内容,节目资产不存在,用户状态异常等。其它特性未执行用例主要是较难构造的异常、压力测试,及性能测试等,例如DB网页自动更新,升级提示相关,长时间拔出智能卡等等。

另外由于OTP及串口关闭后机顶盒就会报废,所以装备特性没有测试该项;可测试性未测用例主要是较难构造的异常测试,例如IPQAM分配的频率符号率等超出范围;

没有正式Loader(需要NDS认证过),所以串口升级只是测试了正常情况及接收数据时的异常测试,保存数据时的异常没有进行测试。

2.6 问题情况走势

图2 每轮测试发现问题数量走势图

测试版本 第一轮 第二轮 新问题数 420 80 问题解决数 400 90 问题未解决数 20 10 总问题数 420 D001为第一轮测试:对基本功能和重点功能的性能进行全面测试;

D002第二轮测试:策略主要是回归问题,保证问题修改不引入新问题。其中第二轮测试,由于开发走问题单不及时,测试发现问题需经开发确认,导致走问题单有滞后.

2.7 问题走势分析

D001第一个版本共有新问题40个;

D002第二个版本修改部分遗留问题,新发现问题包括上版本漏测的细节问题和随机问题及开发修改引入的问题,版本DI值有所减少。

3 主要结论和关键风险

3.1 主要结论

通过/I

该版本各特性功能基本实现,但各个功能模块还存在不少的问题,特别是功能块经过交互操作,还存在高概率死机问题,节目更新也不能正常实现。

同时VOD点播只能进行IP流的测试,CABLE流没有条件测试,还有时移业务、录像业务和回看业务也没有条件测试。同时还有广告图片显示,由于测试码流有限,只能根据码流描述进行基本测试,故也存在风险。从测试结果看,该版本概率死机多次,节目更新功能也不正常,说明版本还不稳定,详细见各特性的质量分析。

3.2 特性质量分析

3.2.1 频道播放 该特性主要问题有:前端停止码流播放后会停留在最后一帧,同频点切台后界面一直黑屏,跨频点切台后界面可正常提示节目中断;此时恢复码流播放,不会自动恢复播放,必须跨频点切台后才可恢复;全屏播放电视节目,调节音量。待音量条超时后,按主页调出主菜单,响应较慢;当前播放电视(或广播)节目,音量调整为0,按主页键,调出主菜单,触发静音键,然后取消静音,发现音量突然增大音量格为25等;该特性继承自C2510温州双向版本,但该版本变更较大,引入较多问题。该特性测试执行率91%,该特性质量一般,可供实验局使用。

3.2.2 EPG

该特性主要问题有:频道列表的当前焦点下显示长频道名称不完整,电台列表的频道列表显示的频道名称异常;前端下发长节目名称(11英文+2个数字),搜索完成后切换到音频界面。发现显示节目名称重叠显示 ;进入EPG界面,操作喜爱、加锁帮助信息没有响应;该特性虽然继承自C2510温州双向版本,但该版本很多功能块进行变更,导致还存在较多问题。该特性测试执行率为85%,只存在一般及以下级别的问题,该特性质量一般,可供实验局使用。

3.2.3 硬件(InfoLink C2511 I30 V100R001C02)质量分析 硬件测试目前遗留问题:2个严重问题和0个一般问题、5个轻微问题 (硬件测试报告由硬测人员单独在PDM上归档,请另行查阅。)

3.3 关键风险---可以列表形式记录

VOD特性由于实验室环境有限,IPQAM点播、回看、录像、智能卡认证等功能无条件测试,时移业务在实验室的环境尚不稳定,只能满足时移基本功能测试,VOD特性总体测试执行覆盖率较低;

规避措施:继续调整实验室时移环境,尽量构造完整、稳定的时移测试环境;该部分在

正式批量发货发版本发布前,由测试组织(如果有问题需要现场开发则由开发人员、或测试组人员在现场执行)现场测试时移等功能至少一轮。

4 附件

4.1 遗留问题列表

温州D05遗留问题.xls

软件 —— 78(1个致命,6s个严重,23个一般,46个轻微) 硬件 —— 5个(1个严重,0 个一般,4个轻微)

[注] 芯片固有缺陷、硬件固有缺陷(见问题列表)评审讨论是否计问题数。

因篇幅问题不能全部显示,请点此查看更多更全内容