1、 1 移动应用程序（ APP）评价指标体系研究 摘要：目前，对 APP 的研究主要涵盖了其设计、应用、服务、实现和评价等方面，但对 APP 的评价研究存在着诸如评价领域单一、评价指标过少、评价内容不全面和评价体系不科学等问题。通过结合德尔菲法、层次分析法和模糊综合评价法，文章提出了一套包含有应用平台、用户体验、可视化前台、网络后台等 4 个一级指标，活跃度等 12 个二级指标和下载量等 41 个三级指标，权重设计上加入负分项的 APP 评价指标体系，并以实例验证了这一评价指标体系可为 APP 的设计、推广、应用与评价提供了理论参考。通 过运用该评价体系对支付宝钱包等 APP 进行评价与比较，也
2、发现影响一款 APP 质量的主要因素是软件本身的用户体验及功能。 关键词：移动互联网； APP；科学评价；指标体系；层次分析法 中 图 分 类 号 ： G250.252 文 献 标 识 码 ： A DOI ：10.11968/tsyqb.1003-6938.2016062 Research on Evaluation Index System of APP Abstract The design， application， service， implementation and evaluation of APP are mainly covered in current studies. A
3、nd there are still some problems in APP evaluation research， such as insufficient research fields， small amount of evaluation index， incomplete evaluation content and unscientific evaluation system. In this paper， combined with the Expert Method， Analytic Hierarchy 2 Process and Fuzzy Comprehensive
4、Evaluation Method， a set of app evaluation index system is put forward that contains the first grade indicators of four aspects of application platform ， user experience， visual foreground， Network background； 12 second grade indicators including active degree and son on； 41 third grade indicators i
5、ncluding download volume and so on； weight design added with negative points， and examples are given to verify the index system can provides a theoretical reference for the app design， promotion， application and evaluation. Through the use of the evaluation system of evaluation and comparison of the
6、 Alipay Aallet APP， it is found that the main factors affecting the quality of APP is the function of the software itself and the user experience. Key words the mobile Internet； APP； scientific evaluation；the indicator system； Analytic Hierarchy Process （ AHP） 1 引言 移动 APP（ Application program）原意是指一种
7、开放的第三方应用程序 ，现在多指应用于智能手机、 MID、平板电脑、 MP4、手持游戏机等智能移动终端用户的应用程序，有时也被称为移动客户端 1。其基本原理是以软件程序的面貌作为一种沟通界面，联接本地移动设备与互联网服务器，以此来提供全面适时的定制内容，传递相应的商业咨询，满足用户的信息寻求 2。最初 APP 只是作为一种第三方应用的合作形式参与到互联网商业活动中去的，随着互联网越来越开放化，它被更多的互联网商业大3 亨看重，一方面可以积聚各种不同类型的网络受众；另一方面借助 APP 平台获取流量 3。但在现实中， APP 的应用领域也存在着 一定问题。据统计苹果的 App Store 应用总
8、数达 65 万；谷歌 Play 商店应用程序数量达 45万，整个 APP 市场大体的分类已经形成并趋向稳定。但自 2013 年起相同类型的 APP 应用数量暴增，同质化严重，抄袭成风，几十万款 APP 中，只能有几百个可以生存，因此产生了大量的“僵尸”应用。且当前我国 APP开发市场处于发展阶段，由于存在一定的技术障碍，部分 APP 无法满足用户的整体需求和市场需要。所以评价一款 APP 是极有必要的，不仅能够让用户正确选择令人满意的 APP，而且让开发商在此过程中发现设计、开发方面的不足，在后期做 进一步修改完善，以达到最高质量标准，从而获得用户的长期支持。但由于 APP 是一个涵盖内容很广
9、的概念，要对它进行科学有效的评价，必须全面考量 APP 的各项指标。 本文从 APP 提供平台、用户体验、软件本身和网络后台四个方面构建出基于移动网络下的 APP 评价指标体系，并依据文献研究法进一步优化完善指标体系。同时利用德尔菲法、层次分析法等分析计算出相应指标的权重值，通过与实际调研数据的对比分析，使得整个指标体系的结构更加完整，结论更加准确。 2 APP 的评价研究现状 网络时代 APP 的应用已基本贯穿人们的 日常生活，如何客观地评价一款 APP 就显得尤为重要。通过对文献分析可以得出，目前已有不少专家和学者注意到移动 APP 的高速发展现状及可观的前景，并且针对基于 APP 的应用
10、种类进行了相应的评价研究，但是他们往往注重单一种类的 APP 评价，有的甚至只针对某一类 APP 产品的技术或外观等层面进行探讨。如吴潇等4 4采用复杂网络中的加权二分图模型，构建了用户和 APP 的访问关系模型，在模型中分析了 APP 渠道中各类信息的传播特性，揭示了用户访问兴趣的演变；张苏闵等 1调研了国外主要数据库商的移动 APP 应用现状，从用户评价角度分 析出了 APP 内容的深度以及 APP 应用的可用性等方面还有待提高； LI KYOUNG6在基于 UTAUT 模型的基础上结合旅游行业和移动信息技术的特性，新增个性创新性与感知风险两个因素，构建出移动旅游APP 用户接受行为模型，
11、进而对用户对移动旅游 APP 接受行为进行评价；沈左源 7在基于 AHP 的旅行社智慧 APP 设计评价研究中，建立出适合衡量旅行社智慧 APP 设计内容的评价指标体系，为旅行社的智慧 APP 设计提供了参考方案；张苏闽等 8在国外数据库出版商移动 APP 应用及用户评价分析中，从用户的角度出发设计出一 套专门针对国外数据库出版商移动APP 的评价体系，从而得到有助于提高用户满意度的改进方案。 3 APP 评价指标体系构建 3.1 指标的确定 由于德尔菲法可以获得具有很高准确率的集体判断结果，所以本文首先通过使用德尔菲法 9确定初步的指标，通过组织相关领域专家背对背咨询与研讨初步确定了本文使用
12、的指标。为了使指标更有代表性，后期还采用普通用户问卷调查的方式对指标进一步的完善。问卷采用的是湖北工业大学知识管理与创新研究中心在 2015 年度调查发放的 300 份问卷，其中，回收问卷 287 份，有效问卷 260 份，回收问卷和回收的有效问卷比例分别为 95.67%和 86.67%。问卷发放分为网上统计和网下统计两种形式（各150 份问卷），网上的问卷用户根据问卷调查说明进行填写，网下的问卷用5 户采取现场指导的方式进行填写。选取的问卷调查对象主要为在校学生、中青代的上班族、专业的 APP 开发人员。通过对问卷的统计分析，最终采用填写问卷年龄为 16 40 岁的群体，因为该群体平均每周使
13、用 APP 达到30 次以上具有高度的代表性。同时根据实际情况对不重要的指标进行删除修改，对遗漏的指标进行添加，进一步完善指标体系，得到准确完备的各项 重要指标。 3.2 构建 APP 评价指标体系 对上述确定的指标按非常重要、重要、一般、不重要、非常不重要五个等级进行评测，最终确定了指标体系结构（见表 1）。 3.3 负分指标项的确定 在选取评价指标的过程中，通过综合分析有关 APP 评价的文献，发现现有的 APP 评价类文章只考虑到对 APP 的推广运营商以及对用户有益的部分，有的只是描述了 APP 最表层的现象，没有对 APP 这一宽泛的概念进行深度剖析。本文基于 APP 推广经营商与用
14、户的双方的角度全面考虑了 APP的各项评价指标，结合自身及周围移动应用程 序使用者的真 实体验，重点指出 APP 使用过程中存在的一些设计及 使用上的问题，在 APP 的综合评分中以负分项的形式展示出来。基于用户的角度，如果在 APP 使用过程中出现闪退的现象会严重影响用户体验。并且经调查得知，用户在使用支付类和游戏类 APP 时最不能接受的就是闪退现象；应用商店对每款 APP 进行评分和评级，同时为用户提供专门的平台对每款 APP 的使用效果等进行评价，因此出现了吐槽的现象，部分用户通过这种方式表达了对 APP 的不满；在调查过程中发现，有些 APP 在下载6 的时候是免费的，但供使用的部分
15、功能是收费 的，而且还存在乱收费的情况，收费是开发商或运营商获得收益的一种措施，但这种方式是用户极为反感和排斥的；此外， APP 出现故障导致用户的使用行为不便或受限，这也是影响用户体验的重要因素。综上，可以得出负分项的各项指标为闪退、吐槽、乱收费与故障率。 5 实例验证 5.1 实验设计 为了对 APP 进行全面有效的评价，根据现用 APP 排行榜，分别选取排行靠前、稍微靠前、居中、稍微靠后、居后五种程度和不同类别的七款 APP作为调查对象，它们分别是：支付宝、美团、网易、风行、微信、爱读掌阅和炉石传说。针对这七 款 APP 的各项指标设计问卷并收集 100 份有效问卷，利用综合评判法得出各
16、级指标分数。 设计调查问卷时要将所有的指标项考虑其中，以便得到准确的数据。以微信为例，收集的调查结果包括可量化的数据，如使用频率；还包括定性结果，如安装是否简便。对于可量化的数据，在综合考虑各方面因素后得出算法表，从而根据数据得到相应的分数，而定性结果则采用模糊综合评价法，结合问题答案所占的百分数得到分数。至此，所有的三级指标分数都已算出，然后结合各级指标所占权重得出最后的结果。 5.2 实验结果 上述问卷数据统计的汇总 结果（见表 7）。最终七款 APP 的统计结果（见表 8）。 5.3 实验分析 7 根据问卷调查收集的数据，利用算法表得到以上各表所显示的结果，由此不难看出： （ 1）七款
17、APP 最终的评价结果各有差别，问卷调查得出的分数处在不同的区间内，说明选取的七款实例认证 APP 具有一定的代表性，能在一定程度上说明文章的研究对象。 （ 2）支付宝钱包与美团的最终评价分数分别是 23.68 和 22.38，两者最为接近，究其原因，支付宝钱包是国内领先的移动支付平台，内置平民理财神器余额宝，还有银行卡转账、话费充值等多种功 能，是网络购物者首选的支付方式。美团是 2010 年成立的团购网站，为消费者发现最值得信赖的商家，让消费者享受超低折扣的优质服务，同时为商家找到最合适的消费者，给商家提供最大收益的互联网推广。对于美团网上满意的产品，消费者可以通过支付宝在线支付，然后线下
18、去实体店消费，美团与支付宝钱包是合作关系，美团让消费者享有的消费形式与支付宝钱包相同，都是基于 O2O 模式的经营理念。 （ 3）通过数据和折线图可以看出，微信的各项正分指标值都处于高水平，如用户体验分数达到 14.86，而其负分项分值低至 4.77，因此其最终评价 值是最高的。微信作为实例检验的对象具有明显的典型性。近几年微信发展迅速，这是因为微信支持跨通信运营商、跨操作系统平台通过网络快速发送免费语音短信、视频、图片和文字，也可以使用通过共享流媒体内容的资料和基于位置的社交插件“摇一摇”“漂流瓶”“朋友圈”“公众平台”“语音记事本”等服务插件 11，后又推出微信红包和微信支付钱包，微信强大
19、的功能在极大程度上满足了用户的需求，在用户群中享有很高的知名度。 8 （ 4）炉石传说是 2014 年正式发布的一款手机游戏，在应用平台和用户体验分值上远远低于其他 APP，其原因主要 是游戏市场竞争激烈，新推出的游戏很难获得用户群；其次，炉石传说在商业上取得一定成绩之后，由于开发商的保守主义懒于更新，导致游戏架构中存在各种补丁，这在很大程度上对用户客观需求造成了不好的影响，进而影响了用户体验。 6 结语 本文构建的基于移动网络下的 APP 评价指标体系不仅在理论知识方面有深层次的探究，而且结合具体实例进行了验证。在指标权重方面，主要采用了德尔菲法和层次分析法，运用主客观相结合的方法，使指标权
20、重更加准确有效，进而验证了 APP 评价指标体系的合理性。在文章构建的指标体系中，考虑到 APP 评价的实际情况加入了负分项，使整个评价体系的结构和内容更加完整精确。 同时，在构建指标体系与选取实例的过程中存在一定的不足。首先，由于 APP 评价指标体系的构建是复杂的，要想对 APP 进行全面合理的评价就必须在选取考量指标时尽可能面面俱到是很难实现的；其次，由于人员有限，收集的样本数据太少，未能进行大规模的调查分析，导致指标体系的有效性与准确性有待进一步检验。 此外，尽管选取的七款 APP 的评价结果与预期大体一致，但目前市场上的移动应用程序种类繁多，每种类型的 APP 数量也极大。所以其发展
21、受到多种因素的 限制，其中影响一款 APP 质量的主要因素是软件本身的用户体验及功能，只有这两点做到最好才能真正令用户满意，从而形成良好的口碑。其他影响 APP 发展的因素还有应用商店严格的审核程序、移动工具9 的内存大小等， APP 未来发展的方向除了满足用户需求、降低开发商经济性要求以外，还要做到限制第三方应用访问，保护用户的隐私信息，使 APP移动应用自身变得更加安全从而实现可持续发展。 参考文献： 1 王晶，阮文彪，陆彦 .浅谈移动电子商务下的 APP 服务 J.中国商贸， 2014（ 23）： 129-131. 2 杨华 .电商为长三角中小外贸企业带来的商机与挑战 J.中国商贸， 2
22、014（ 23）： 127-128. 3 张世明，徐和祥，钱冬明，等 .云架构模式下“网络学习空间人人通”体系探析 J.华东师范大学学报（自然科学版）， 2014（ 2）： 4. 4 吴潇，聂啸，刘晓辉，等 .基于加权二分图模型的 APP 信息传播特性 J.吉林大学学报（工学版）， 2015（ 6）： 1946-1953. 5 张苏闽，鄢小燕，谢黎 .国外数据库出版商移动 APP 应用及用户评价分析 J.图书馆杂志， 2012， 3（ 6） ： 56-61. 6 LI KYOUNG.基于 UTAUT 模型的移动旅游 APP 用户接受行为研究 D.厦门：厦门大学， 2014. 7 沈左源 .基于
23、 AHP 的旅行社智慧 APP 设计评价研究 J.特区经济，2015（ 3）： 80-83. 8 张苏闽，鄢小燕，谢黎 .国外数据库出版商移动 APP 应用及用户评价分析 J.图书馆杂志， 2012（ 6）： 56-61. 9 李建霞，陈福蓉 .国内图书馆绩效评价指标体系研究 J.图书与情报， 2013（ 1）： 65-69. 10 10 郭晓晶，何 倩，张冬梅，等 .综合运用主客观方法确定科技评价指标权重 J.科技管理研究， 2012， 32（ 20）： 64-67. 11 吕磊 .基于即时通信及社交网络的社交电视分析 J.电视技术，2014， 38（ 24）： 9-13. 作者简介：黄炜（ 1979-），男，湖北工业大学经济与管理学院副教授，武汉理工大学管理学院博士后；李总苛（ 1991-），男，湖北工业大学经济与管理学院硕士研究生；黄建桥（ 1992-），女，湖北工业大学经济与管理学院硕士研究生。
