Testin云测CTO陈冠诚：AI在自动化测试中的创新机会点

近日,主题为“测思未来”的TICA 2019阿里巴巴质量创新大会于杭州举办,作为云测试领域的开创者及下一代测试的引领者,Testin云测公司受邀出席会议,CTO陈冠诚做《AI在自动化测试领域的应用——AI引领下一代测试新航向》主题分享,介绍AI技术与自动化测试的结合方式,以及如何借助融合自然语言处理、文本识别、图标识别等技术的下一代AI测试产品iTestin,提升测试的易用性和工作效率。

以下为演讲实录

一、AI技术的成熟使智能化测试成为可能

最近一两年随着深度学习技术浪潮的诞生,图像识别和自然语言处理领域技术的发展使得智能化测试成为可能。今天,我想和大家分享AI如何引领下一代测试的新航向。希望通过我的分享抛砖引玉,我相信不管是阿里,还是业界的同行,在整个测试开发领域里,大家都做了很多的实践,所以我今天希望跟大家分享一下我的观点。

二、测试框架的痛点

软件自动化诞生了非常多的软件,不管是QTP,还是基于图形化的自动化测试框架,它们都有非常多的痛点。

第一,学习成本高,需要一个具备测试开发能力的人写测试代码。我们知道测试分层,代码级的测试,服务级的测试,还有UI级的测试,我们把单元测试做得足够好,很多工作不用在接口层和UI层做,但是测试行业,因为人员结构的问题,不是所有公司都可以招聘很多有开发能力的测试工程师,作为初级或者说不太具备开发能力的从业人员,能否用一个简单的方法把自动化跑起来是一个问题。

第二,维护成本高,业务逻辑更新之后,修改脚本花费的时间比较长,如何不用改脚本,把维护成本尽可能降低到最低是第二个挑战。

第三,跨平台,让测试脚本尽可能复用。我们看很多的APP,包括现在的小程序,它们的业务逻辑有共通的地方。从技术角度上去看,未来,能不能实现跨平台和应用的复用,是我们看到的典型问题。

三、AI测试方向

可喜的是,随着深度学习的这一波浪潮,我们确实看到一些问题可以在我们的量变基础上,开始产生一定的质变。目前能够看到是,在自动化测试领域,深度学习在视觉相关的处理方面,比如图像的处理、文字的处理,包括整个测试的自然语言的交互上面,确实有可取之处,能够把整个自动化的水平往上提升一个台阶。

实践方向分为四个部分,第一部分,是机器像人一样看懂人话,比如,你告诉它,你帮我测试我的登录功能,它帮助你测试,你告诉它,测试我的转账功能,你告诉它逻辑之后,它可以帮你生成各种各样的用例,当然今天我们还没有完全做到这点,但我觉得这是未来大的方向,就是机器像人一样看懂人话。

第二,是机器怎么样像人一样理解图形。随着多媒体、短视频和长视频出现在应用里,不管你是搜索图标,一个图片,还是一个APP里的导航栏、文字、图文等典型场景,人可以识别哪些是图,哪些是文,有没有可能让机械像人一样知道哪些是图,哪些是文,哪些是导航?放眼未来,随着自动化程度的越来越高,机器应该可以像人一样理解整个图形,包括整个版面的逻辑关系。

第三,是自定义图标,人不可能穷举各种各样的图标,因为图标是带灵感和创造性的。机器有没有可能比较好的理解自定义的图标,这是我们想要解决的第三个问题。

第四,是机器有没有可能像人一样执行测试用例,核心点是有没有可能在执行过程中对图片、文字或者是业务逻辑进行很好的识别。

四、取得的进展

跟大家分享我们取得的一些进展,第一个是自然语言的脚本,第二个是OCR文字识别,第三个是以图找图和通用图标的识别。

第一,自然语言脚本。在整个测试中有非常多的工作,我们核心目标是降低测试工程师编写脚本的难度,实现一个目标——会说中文,就能够写自动化测试。

如图所示,右边是我们可以做到的效果,左边这个大家都是熟悉的,写一段自动化测试代码,右边是我们iTestin实现的能力:比如向下滑动的操作,只要写“向下滑动”这四个字,就可以做向下滑动的操作。我们希望用纯中文的方式实现跨平台,无视控件变动,降低脚本维护成本,利用自然语言的优势,提升编写效率,让其易理解,易维护。大家阅读别人阅读的自然语言的脚本,理解比较容易,维护难度也降低了。这是我们目前的语法规则,核心是会中文就会写测试程序,会用手机就理解别人写的测试程序。

第二是在OCR方面的实践。传统的OCR文字识别方法有很大的局限性,识别率不够高。我们面临的场景是应用的文字识别,首先是印刷字体。做测试的时候,基于业务功能做逻辑的回归,需要识别准确的对象,往往是核心功能的按纽,把这些按钮进行特征分析,会发现它们典型的特征是印刷字体。其次,很多时候都是水平排列,或者是垂直排列,或者是带角度排列。这导致我们在做识别的时候,要做的任务存在哪个象限,就是在学界和工业界大家比较公认的OCR或者是文字识别的象限。最难的就是右下角,通用手写体的识别,你用手机拍的海报是毛笔字,怎么识别它?我们的手机截屏是属于右上角,属于第二个难度,不是属于最困难的一类。今年有一个专门的文字识别竞赛,目前来讲,最高识别精度在70%左右。比较容易是左下角,基于定制化的表格,有很强的规则,比如,身份证的文字有多少个字都是固定的。

首先讲文字识别,现在做深度学习是讲端到端,端到端可以分为两个环节,第一个环节文字检测,标注出应用的截屏哪些是文字块,哪些不是文字块,这就是文字的检测,第二个阶段是把检测出来的文字块进行识别,识别出文字块由哪些单词,以及标点符号组成。

（编辑：应用网_阳江站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!