第１９卷第３期 ２０１３年６月 上海戈 报（自然科学版） ＪＯＵＲＮＡＬ ＯＦ ＳＨＡＮＧＨＡＩ ＵＮＩＶＥＲＳＩＴＹ（ＮＡＴＵＲＡＬ ＳＣＩＥＮＣＥ） Ｖｏ１．１９ ＮＯ．３ Ｊｕｎ．２０１３ ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１００７－２８６１．２０１３．０３．０１３ 面向应用领域的软件质量特性分析 杜春业 ，张博锋 ，蔡立志 （１．上海大学计算机工程与科学学院，上海２０００７２；２．上海计算机软件评测重点实验室，上海２０１１１２） 摘要： 随着信息技术的快速发展，软件质量已经成为用户最为关心的问题．但由于目前较难证明软件产品的正确 性，因此一直没有一个令人信服的软件质量评价方法．特别是已有的软件质量评价方法基本上都采用同一种评价指 标对不同领域的软件进行评价，缺乏对不同领域软件的个性化评价指标．针对不同领域的软件质量需求和应用，提 出了不同的软件质量评价指标，为建立面向领域的软件产品基准体系提供依据，以满足软件产业发展的需要． 关键词：软件质量；质量特性；质量评价；评价指标；特性分析 中图分类号：ＴＰ ３１１ 文献标志码：Ａ 文章编号：１００７—２８６１（２０１３）０３—０２８６—０７ Ｄｏｍａｉｎ－Ｏｒｉｅｎｔｅｄ Ａｎａｌｙｓｉｓ ｏｆ Ｓｏｆｔｗａｒｅ Ｑｕａｌｉｔｙ Ｆｅａｔｕｒｅｓ ＤＵ Ｃｈｕｎ－ｙｅ ．ＺＨＡＮＧ Ｂｅ—ｆｅｎｇ ．ＣＡＩ Ｌｉ．ｚｈｉ。 （１．Ｓｃｈｏｏｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ｓｃｉｅｎｃｅ，Ｓｈａｎｇｈａｉ Ｕｎｉｖｅｒｓｉｔｙ，Ｓｈａｎｇｈａｉ ２０００７２，Ｃｈｉｎａ； ２．Ｓｈａｎｇｈａｉ Ｋｅｙ Ｌａｂｏｒａｔｏｒｙ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｏｆｔｗａｒｅ Ｔｅｓｔｉｎｇ＆Ｅｖａｌｕａｔｉｎｇ，Ｓｈａｎｇｈａｉ ２０１１１２，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｗｉｔｈ ｔｈｅ ｒａｐｉｄ ｄｅｖｅｌｏｐｍｅｎｔ ｏｆ ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ，ｓｏｆｔｗａｒｅ ｑｕａｌｉｔｙ ｈａｓ ｂｅｃｏｍｅ ｏｎｅ ｏｆ ｔｈｅ ｕｓｅｒｓ’ｍｏｓｔ ｃｏｎｃｅｒｎｓ．Ｈｏｗｅｖｅｒ．ｄｕｅ ｔｏ ｔｈｅ ｄｉ币ｃｕｌｔｉｅｓ ｏｆ ｃｏｒｒｅｃｔｎｅｓｓ ｐｒｏｏｆ ｏｆ ＳＯｆｔｗａｒｅ ｐｒｏｄｕｃｔｓ．ＳＯｆｔｗａｒｅ ｑｕａｌｉｔｙ ｐｒｏｂｌｅｍｓ ｄｏ ｎｏｔ ｈａｖｅ ａ ｃｏｎｖｉｎｃｉｎｇ ｅｖａｌｕａｔｉｏｎ ｍｅｔｈｏｄ．Ｅｓｐｅｃｉａｌｌｙ，ｅｖａｌｕａｔｉｏｎ ｍｅｔｈｏｄｓ ｉｎ ｄｉｉｅｒｅｎｔｆ ａｒｅａｓ ａｒｅ ｂａｓｅｄ ｏｎ ｔｈｅ ｓａｍｅ ｋｉｎｄ ｏｆ ｉｎｄｉｃｅｓ ｂｕｔ ｌａｃｋ ｉｎｄｉｖｉｄｕａｌｉｔｙ．Ｔｈｉｓ ｐａｐｅｒ ｐｒｏｐｏｓｅｓ ｄｉｆｉｅｒｅｎｔ ｅｖａｌｕａｔｉｏｎ ｉｎｄｉｃｅｓ ｆｏｒ ｄｉｆｅｒｅｎｔ ｓｏｆｔｗａｒｅ ｑｕａｌｉｔｙ ｒｅｑｕｉｒｅｍｅｎｔｓ ａｎｄ ａｐｐｌｉｃａｔｉｏｎ ｉｎ ｄｉｆｅｒｅｎｔ ａｒｅａｓ，ｗｈｉｃｈ ｃａｎ ｐｒｏｖｉｄｅ ａ ｂａｓｉｓ ｆｏｒ ａ ｂｅｎｃｈｍａｒｋ ｓｙｓｔｅｍ ｏｆ ｄｏｍａｉｎ—ｅｒｉｅｎｔｅｄ ｓｏｆｔｗａｒｅ ｐｒｏｄｕｃｔｓ，ａｎｄ ｍｅｅｔ ｔｈｅ ｉｎｃｒｅａｓｉｎｇ ｎｅｅｄｓ ｏｆ ｔｈｅ ＳＯｆｔｗａｒｅ ｉｎｄｕｓｔｒｙ． Ｋｅｙ ｗｏｒｄｓ：ｓｏｆｔｗａｒｅ ｑｕａｌｉｔｙ；ｑｕａｌｉｔｙ ｆｅａｔｕｒｅｓ；ｑｕａｌｉｔｙ ｅｖａｌｕａｔｉｏｎ；ｅｖａｌｕａｔｉｏｎ ｉｎｄｅｘ；ｆｅａｔｕｒｅ ａｎａｌｙｓｉｓ 软件质量是信息化建设过程中的热点问题，因为 它涉及软件开发的进度、成本和上市的时间．随着计 算机硬件成本的急速下降和网络应用的快速发展，软 件应用的需求呈爆炸趋势，随之而来的软件质量问题 也日渐突出．由于软件生产技术各异，开发过程复杂， 评测技术落后，导致了软件质量参差不齐．Ｃａｐｅｒｓ指 行业类型软件，如教育类软件、通讯类软件、医疗类软 件、测量类软件等．由于行业需求的不同特点及应用 差别，需要对行业软件的评价与测试使用有针对性的 评价体系与测试方法，但遗憾的是，目前还没有出现面 向不同行业的软件质量评价模型． 人们试图建立面向领域的软件产品测试基准体 出：“软件对于现代世界是如此重要，寻找降低失败概 率并提高成功概率的途径，对于所有大型企业来说都 是很有价值的．”［１］由于软件具有抽象性、复杂性、多 系，以描述特定领域软件产品的发展水平，对行业软件 的发展提供前瞻性信息，从而发挥行业指导和推进作 用．另外 还可以把特定软件企业研发的软件产品和 领域内的其他同类软件产品与“行业水平情况”进行 科学系统的比较，提高所研发的软件产品的竞争水平， 以避免大量的重复投入，从而提高信息化项目投资的 有效性和利用率． 本研究针对不同领域的软件质量需求和应用，提 样性、易变性，以及公众对软件的需求难于把握等特 点，使得针对软件质量的研究成为软件界始终关注的 焦点． 目前，行业化对企业生产有着越来越重要的影响， 面向不同的行业标准需求，已经开发出了许多对应的 收稿日期：２０１２—１０—０８ 基金项目：上海市教委科研创新重点资助项目（１ｌＺＺ８５）；上海市重点学科建设资助项目（Ｊ５０１０３） 通信作者：张博锋（１９６８一），男，研究员，博士，研究方向为人工智能、智能人机交互等．Ｅ－ｍａｉｌ：ｂｆｚｈａｎｇ＠ｓｈｕ．ｅｄｕ．ｃａ 第３期 杜春业，等：面向应用领域的软件质量特性分析 ２８７ 出针对不同应用领域的软件质量评价指标 并对相关 要积累丰富的实践经验．在实现软件质量评价之前， 质量特性进行对比分析，为建立面向领域的软件产品 要建立一个软件质量评价基准模型 在模型中将指 基准体系提供依据． 标体系模型、评价模型与实际评价过程有机结合，才 １ 软件质量评价模型和特性分析 能直观地反映出指标和评价模型在软件质量评价中发 挥的作用． 由于不同应用领域中软件产品的设计目标不同， ＧＢ／Ｔ １６２６０标准提供的质量评价模型将软件质 其作用也存在较大的差异．在实际测试中，应充分考虑 量分解成６个特性，即功能性、可靠性、易用性、效率、 被测软件的特点，使用专家经验法［２，结合《软件工程 ２Ｊ维护性和可移植性．每个特性又被分解成若干个子特 产品质量》（ＧＢ／Ｔ １６２６０）系列标准【３】中相关质量特性 性，共有２６个子特性．每个子特性由多个度量项组成， 的要求，建立个性化的评价指标和模型． 如图１所示．通过这样一套质量评价指标对软件质量 １．１ 软件质量评价的基准模型 特性逐步细化，可实现对软件质量的度量． 软件质量评价除了需要研究评价方法之外，还需 软件质量 功能性 ｝ ｌ 可靠性 ｌ ｌ 易用性 Ｉ Ｉ 效率 ｌ ｌ 维护性 ｌ ｌ 可移植性 适合性 成熟性 易理解性 时间特性 易分析性 适应性 准确性 容错性 易学性 易安装性 互操作性 易操作性 资源利用性 易改变性 共存性 安全保密性 易恢复性 吸引性 易测试性 易替换性 功能性的依从性 可靠性的依从性 易用性的依从性 效率的依从性 维护性的依从性 可移植性的依从性 图１软件产品的质量特性 Ｆｉｇ．１ Ｑｕａｌｉｔｙ ｆｅａｔｕｒｅｓ ｏｆ ｓｏｆｔｗａｒｅ ｐｒｏｄｕｃｔｓ １．２ 面向应用领域的软件质量特性分析与评价方法 指标结果作数据归一化处理． 在质量模型中，每个子特性根据其所对应的度量 （３）对度量项设置权重，并与相应的度量指标结果 项获得结果，不同的度量项需要通过不同的度量指标 相乘，获得度量项值： 进行结果计算，即不同类型的度量项需要通过不同类 型的测试来获得结果． 由于不同领域软件需求的不同特点及应用差别， 式中，Ｍ为度量项， 为度量指标结果， 为度量项 因此对不同领域的软件质量评价需要使用有针对性的 权重［７］． 基准评价模型【 —５Ｉ．此时，需采用专家经验法，将专家 （４）对子特性设置权重，并与相应的度量项结果相 经验赋予属性权重中．例如，实时系统的软件对“效 乘，获得相应的子特性值： 率”这一特性要求很高，在对“效率”进行评价的过程 中，就需要计算有关的指标如“任务平均处理时间”， Ｓ＝∑ Ｍ 具体是在测试的过程中采集每次执行任务时的处理时 ｉ＝１ 间，从而计算出“任务平均处理时间”．因此，不同领 式中，Ｓ为子特性值，ＷＭ为子特性权重，ｉ表示从ｉ＝１ 域的软件的质量特性、子特性及度量项的权重都有所 开始求和，ｎ表示ｉ至ｎ的个数； ’ 差别． （５）对质量特性设置权重，并与相应的子特性结果 在分析与评价面向应用领域的软件质量特性时， 相乘，获得相应的质量特性值： 基准模型描述的软件质量属性是自下而上的推导关 ｎ 系．整个过程分为以下６个步骤． Ｆ＝∑ＳｉＷｓ， （１）将同领域中各个软件的度量指标全部列出． ｔ＝１ （２）对列出的度量指标进行逐项评测，然后对度量 式中，Ｆ为质量特性， ｓ为质量特性权重 ２８８ 上 戈 报（自然科学版） ＴｈｕｎｄｅｒＢｉｒｄ，Ｌｉｖｅ Ｍａｉｌ，Ｂｅｃｋｙ！ 第１９卷 Ｉｎｔｅｒｎｅｔ Ｍａｉｌ， （６）将６个特性值相加获得最终的软件质量特性 总分值： Ｏｕｔｌｏｏｋ，ＩｎｃｒｅｄｉＭａｉｌ，Ｇｍａｉｌ，讯邮，ＰｅｇａｓｕｓＭａｉｌ， Ｑ：∑ ， ＝＝１ Ｓｙｌｐｈｅｅｄ这１３类邮箱建立基准模型进行软件质量 评价． ２．１ 邮箱处理软件质量特性分析与评价方法 ｆ１１将每种邮箱的撰写、收件、发件、草稿箱、转 发、导入、附件等度量指标全部列出后取并集，如表１ 所示．由统计结果可知，各个邮件处理软件所含功能 的并集数为３５个． 式中，Ｑ为质量特性总分值，ｎ＝６． 基于以上步骤，最终可获得同领域中各软件质量 的评价结果． 通过对度量项、子特性及质量特性的权重进行多 次不同的设置，可得出不同的比对结果．再与前期大量 问卷调查所得的结果进行比较，获得最接近调查结果 的一组权重设置模型，此模型则为最适合该领域使用 的基准评价模型． （２）对列出的度量指标进行逐项评测，然后通过测 量公式计算并进行归一化处理，得到有效度量指标结 果．以部分邮箱处理软件为例，选取适当的功能性中适 合性的度量项和度量指标，如表２所示，其中将各个邮 ２ 软件质量评价实例——邮箱处理软件 对Ｆｏｘｍａｉｌ，ＤｒｅａｍＭａｉｌ，网易闪电邮，酷邮， 箱处理软件所含功能的并集数３５作为需求Ｂ． 表１邮箱处理度量指标 Ｔａｂｌｅ １ Ｅ－ｍａｉｌ ｐｒｏｃｅｓｓｉｎｇ ｍｅｔｒｉｃｓ 子特性度量项 测量公式 数据元计算 Ｆｏｘｍａｉｌ 网易闪电邮 功能的充分性 Ｘ＝Ｉ—Ａ／Ｂ Ａ：在评价中检测出有问题的功能数 １－－０／３０＝１ Ｂ：被评价的功能数 Ｂ：需求规格说明中描述的功能数 １－ｏ／２９＝１ １－０／３１＝１ 功能性一＞功能实现Ｘ＝１一Ａ／Ｂ Ａ＝在评价中检测出缺少的功能数 １－５／３５－－０．８５７ １ １－６／３５＝０．８２８ ６ １－４／３５＝０．８８５ ７ 适合性 的完整性 功能实现Ｘ＝Ｉ—Ａ／Ｂ Ａ＝在评价中检测出的不能正确 的覆盖率 实现或缺少的功能数 Ｂ＝需求规格说明中描述的功能数 １－５／３５＝０．８５７ １ １－－６／３５＝０．８２８ ６ １－４／３５＝０．８８５ ７ 第３期 杜春业，等：面向应用领域的软件质量特性分析 ２８９ （３）对度量项设置权重，并与相应的度量指标结果 （４）对子特性设置权重，并与相应的度量项结果相 相乘，获得相应的度量项值［８］．在适合性的度量项权重 乘，获得相应的子特性值．在子特性权重比分配过程 比分配过程中，考虑到邮箱处理的实际操作功能，功能 中，主要考虑到在功能性中，邮箱处理是网络信息交流 的充分性、完整性、覆盖率均处于均衡状态，所以其权 工具软件，应主要侧重其功能的“适合性”和“安全保 重比分配为１：１：１，如表３所示． 密性”，所以其权重比分配如表４所示． 表３邮箱处理功能性中适合性的度量项权重比分配 Ｔａｂｌｅ ３ Ｍｅｔｒｉｃ ｉｔｅｍ ｗｅｉｇｈｔｓ ｄｉｓｔｒｉｂｕｔｉｏｎ ｏｆ Ｅ－ｍａｉｌ ｐｒｏｃｅｓｓｉｎｇ ｉｎ ｆｕｎｃｔｉｏｎａｌ ｓｕｉｔａｂｉｌｉｔｙ 表４邮箱处理功能性中适合性的子特性权重比分配 Ｔａｂｌｅ ４ Ｓｕｂ—－ｆｅａｔｕｒｅ ｗｅｉｇｈｔｓ ｄｉｓｔｒｉｂｕｔｉｏｎ ｏｆ Ｅ－・ｍａｉｌ ｐｒｏｃｅｓｓｉｎｇ ｉｎ ｆｕｎｃｔｉｏｎａｌ ｓｕｉｔａｂｉｌｉｔｙ 在可靠性中，由于邮箱处理的基础功能是信息的 表５邮箱处理子特性权重比分配 存储和收发，侧重软件的信息备份功能，应加大“易恢 Ｔａｂｌｅ ５ Ｓｕｂ・－ｆｅａｔｕｒｅ ｗｅｉｇｈｔｓ ｄｉｓｔｒｉｂｕｔｉｏｎ ｏｆ Ｅ－・ｍａｉｌ 复性”的权重比；在易用性中，由于邮箱处理是日常工 Ｐｒｏｃｅｓｓｍｇ 具，应侧重软件的“易学性”和“易操作性”；在效率中， 邮箱处理的“时间特性”和“资源利用率”的权重比分 配均等；在可移植性中，邮箱处理的“适应性”、“易安 装性”、“共享性”和“易替换性”的权重比分配均等． 具体的邮箱处理子特性权重比分配如表５所示． ｆ５）对质量特性设置权重，并与相应的子特性结果 相乘，获得相应的质量特性值．根据邮箱处理的一般定 义，邮箱处理是通过网络电子邮局为网络客户提供的 网络交流电子信息空间，具有存储和收发电子信息的 功能，是非即时性的网络信息交流工具．在进行质量 特性的权重比分配时，对于非专业性的具有信息交流 功能的日常软件，首先应侧重软件的“功能性”和“易 用性”【９ ０ｌ，其次是“可靠性”［１１－１２】．而基于邮箱的 非即时性和云端存储功能，应减少“效率”和“可移植 性”的权重比，基于邮箱处理软件是成熟的产品，所以 对“维护性”不进行评价．具体的邮箱处理质量特性权 重比分配如表６所示． ２９０ 上海天 报（自然科学版 第１９卷 （６１将５个子特性值相加获得最终的软件质量特 性总分值．通过对１３类邮箱处理的度量指标计算，可 得相应度量项、子特性及质量特性的权重比设置，形 重设置模型，此模型即为最适合该领域使用的基准评 价模型． 表７为经过多次权限设置后与问卷调查所得用户 成一套适用于１３类邮箱处理的基准评价模型．邮箱处 理质量特性指标如表７所示． ２．２ 结果分析 体验吻合最好的一组权限设置结果，即基准评价模型． 可以发现，Ｆｏｘｍａｉｌ是１３类邮箱中排名最高的．为了 解释这一现象，以及更易于区分每种特性之间的差异， 将对比结果用一个可视化的图表展示出来，如图２和 ３所示． 通过对度量项、子特性及质量特性的权重进行多 次不同的设置，可得出不同的比对结果，再与问卷调查 所得的结果进行比较 得出最接近调查结果的一组权 表７邮箱处理质量特性指标 Ｔａｂｌｅ ７ Ｉｎｄｉｃａｔｏｒｓ ｏｆ ｑｕａｌｉｔｙ ｆｅａｔｕｒｅｓ ｉｎ Ｅ—ｍａｉｌ ｐｒｏｃｅｓｓｉｎｇ 第３期 杜春业，等：面向应用领域的软件质量特性分析 ２９１ ３ 不同领域软件质量评价指标 根据软件的类型和特点，依据ＧＢ／Ｔ １６２６０标准 对软件的质量特性进行整理及计算．然后，采用专家 经验法对软件的质量特性以及子特性设置相应的权重 比．最后，对相关软件质量特性进行对比分析，与问卷 调查所得用户体验最好的一组结果进行比较，从而可 获得２４类软件的基准评价模型，如表８所示． 图２ １３类邮箱处理软件的质量特性 Ｆｉｇ．２ Ｑｕａｌｉｔｙ ｆｅａｔｕｒｅｓ ｏｆ ｔｈｅ １３ ｃｌａｓｓ Ｅ－ｍａｉｌ ｐｒｏｃｅｓｓ— ｉｎｇ ｓｏｆｔｗａｒｅ ４ 结 论 如何对软件的质量进行科学评价是一个系统工 程．本研究提出了一种针对不同领域软件的个性化 评价指标的方法．首先，根据软件的类型和特点，依 据ＧＢ／Ｔ １６２６０标准对软件的质量特性进行整理及计 算．然后，采用专家经验法对软件的质量特性以及子特 性设置相应的权重比．最后，对相关软件质量特性进 行对比分析，与问卷调查所得用户体验最好的一组结 果进行比较，从而获得基准评价模型，进而建立面向领 域的软件评价基准体系．该方法可以更好地对软件进 行定性、定量、独立的质量评价，并可得出以下结论． 图３ １３类邮箱处理软件的质量特性总分 Ｆｉｇ．３ Ｔｏｔａｌ ｑｕａｌｉｔｙ ｆｅａｔｕｒｅｓ ｏｆ ｔｈｅ １３ ｃｌａｓｓ ｏｆ Ｅ—ｍａｉｌ ｐｒｏｃｅｓｓｉｎｇ ｓｏｆｔｗａｒｅ （１）视频软件、办公文字和截屏工具等对易用性 的要求较高；下载工具、Ｐ２Ｐ下载和压缩软件等对效率 的要求相对较高；而图像浏览和图像处理软件对功能 性的要求较高． 表８ ２４类软件的模型质量属性 Ｔａｂｌｅ ８ ２４ ｃｌａｓｓ ｍｏｄｅｌ ｏｆ ｓｏｆｔｗａｒｅ ｑｕａｌｉｔｙ ａｔｔｒｉｂｕｔｅｓ ２９２ 上海戈 报（自然科学版） 第１９卷 （２）对可靠性和可移植性要求较高的是虚拟光驱 和压缩软件． （３）总地来说，多数软件更重视功能性、易用性和 效率，而对可移植性和维护性的要求较低． 限于篇幅，本研究对２４类软件的基准评价模型只 给出了最终结果．后续将针对不同领域软件的软件质 量评价中可靠性对软件的作用展开具体研究． 参考文献： 【１］杨根兴．软件质量保证、测试与评价【Ｍ】．北京：清华大 学出版社，２００７． 【２】王小艺，刘载文，唐立军．一种基于专家知识的软件质 量多属性评价方法『ｃ］／／全国第１９届计算机技术与应 用（ＣＡＣＩＳ）学术会议论文集（下册）．合肥：中国科学技 术大学出版社，２００８：１０７０－１０７４． ［３】杨根兴，葛孝梦，韩良秀，等．ＧＢ／Ｔ１６２６０．１ ＩＳＯｆｌＥＣ ９１２６１．第１．４部分软件工程产品质量ｆＳ］．北京：中国 标准出版社，２００６． 【４］杨扬．计算机软件质量模糊综合评价方法ｆＪ１．小型微型 计算机系统，２０００，２ｌ（３）：３１３．３１５． ［５］石柱，何新贵．软件质量的模糊属性及其表示『Ｊ１．计算 机工程与设计，２００１，２２（４）：１－４． ｆ６］ＣＡＶＡＮＯ Ｊ Ｐ，ＭＣＣＡＬＬ Ｊ Ａ．Ａ ｆｒａｍｅｗｏｒｋ ｆｏｒ ｔｈｅ ｍｅａ－ ｓｕｒｅｍｅｎｔ ｏｆ ｓｏｆｔｗａｒｅ ｑｕａｌｉｔｙ［ｃ］／／Ｐｒｏｃｅｅｄｉｎｇ ｏｆ ｔｈｅ ＡＣＭ Ｓｏｆｔｗａｒｅ Ｑｕａｌｉｔｙ Ａｓｓｕｒａｎｃｅ Ｗｏｒｋｓｈｏｐ．１９７８： １３３－１３９． ［７］乔素琴，丁秀兰．软件测试的度量模型的研究应用［Ｊ］ ．微计算机信息，２０１２（２）：１７９ １８０． ［８】聂南，邓璐娟，夏启明，等．面向不同行业软件的质量评 测模型及实践［Ｊ】．计算机科学，２０１１，３８（２）：１５６—１５９． ［９］ＳＥＦＦＡＨ Ａ，ＫＥＣＥＣＹ Ｎ，ＤＯＮＹＡＥＥ Ｍ．ＱＵＩＭ：ａ ｆｒａｍｅｗｏｒｋ ｆｏｒ ｑｕａｎｔｉｆｙｉｎｇ ｓａｂｉｌｉｔｙ ｍｅｔｒｉｃｓ ｉｎ ｓｏｆｔｗａｒｅ ｑｕａｌｉｔｙ ｍｏｄｅｌｓ［ｃ］／／Ｓｅｃｏｎｄ Ａｓｉａ－Ｐａｃｉｉｆｃ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｑｕａｌｉｔｙ Ｓｏｆｔｗａｒｅ．２００１：３１１—３１８． （１０Ｊ ＤＥＶＡＮＢＵ Ｐ，ＫＡＲＳＴＵ Ｓ，ＭＥＬＯ Ｗ，ｅｔ ａ１． Ａｎａｌｙｔｉｃａｌ ａｎｄ ｅｍｐｉｒｉｃａｌ ｖａｌｕａｔｉｏｎ ｏｆ ｓｏｆｔｗａｒｅ ｒｅｕｓｅ ｍｅｔｒｉｃｓ『Ｃ］／／１８ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｓｏｆｔ— ｗａｒｅ Ｅｎｇｉｎｅｅｒｉｎｇ．１９９６：１８９—２０１． ［１１］ＳＭＥＩＴＩＮＫ Ｅ，ＤＥＫＫＥＲ Ｒ．Ａ ｓｉｍｐｌｅ ａｐｐｒｏｘｉｍａｔｉｏｎ ｔｏ ｔｈｅ ｒｅｎｅｗａｌ ｆｕｎｃｔｉｏｎ『Ｊ］．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｒｅｌｉａｂｉｌｉｔｙ，１９９０，３９（１）：７１—７５． ｆ１２】ＫＥＭＥＲＥＲ Ｃ Ｆ，ＰＯＲＴＥＲ Ｂ Ｓ．Ｉｍｐｒｏｖｉｎｇ ｔｈｅ ｒｅｌｉａｂｉｌｉｔｙ ｏｆ ｆｕｎｃｔｉｏｎ ｐｏｉｎｔ ｍｅａｓｕｒｅｍｅｎｔ：ａｎ ｅｍｐｉｒ— ｉｃａｌ ｓｔｕｄｙ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｓｏｆｔｗａｒｅ Ｅｎｇｉ— ｎｅｅｒｉｎｇ，１９９２，１８（１１）：ｉ０１１—１０２４．