分享

持续集成实践

 airen89 2020-05-28

持续集成概念

持续集成是一种软件开发实践,即团队成员经常集成自己的工作。通常每个成员每天至少集成一次,也就意味着每天可能会发生多次集成。每次集成都通过自动化的构建(包括编辑、发布、自动化测试)来验证,从而尽快地发现集成错误。许多团队通过实践发现这个过程可以大大减少集成时的问题,让团队能够更快的开发内聚的软件。

持续集成的价值

1、 减少风险:

越早发现的错误,修正的费用越低。及时检查软件的健康状况,减少发布时的风险。

2、 减少重复性的工作:

通过持续集成可以将编译、部署、测试等动作都变成自动化的,无需太多人工干预。

3、 任何时间、任何地点都可以部署软件

利用持续集成,可以经常对源代码进行一些小改动,并将这些改动和其他的代码进行集成。如果出现问题,项目成员马上就会被通知去修复。

持续集成对到家的意义

由于业务的特殊性,迭代速度比较快。如何使每个服务都能够快速部署测试上线,给测试和研发工程师带来了很大的挑战。我们引入了持续集成的概念,并开始逐步实施

持续集成帮京东到家主要解决了三个问题:

1、提测质量差。开发周期被压缩,代码质量一定不高。

2、测试周期长。一旦代码质量变差,测试投入的成本就会很高。

3、重复性的工作多。

京东到家持续集成的实现

代码提交到GIT,代码静态扫描JOB会先运行,然后单元测试和代码覆盖率JOB会运行,之后编译打包,部署到对应的服务器上。

后续UI、JSF和APP自动化测试运行,测试人员分析并修复失败的CASE。如果有需要再做功能测试,收集功能测试代码覆盖率。

目前对代码静态扫描,我们要求修复阻塞和重要级别的BUG。所有系统都做到自动编译、打包和部署。自动化测试要不断添加测试用例,并及时查看覆盖率报告。

持续集成基本架构


持续集成服务器架构

测试环境的演变

第一阶段:需要手动编译、打包、部署。解决方案就是引入JENKINS自动编译打包部署。

第二阶段:服务器硬盘打满了,一台机器上部署的服务太多,导致服务挂掉。我们做的就是定时清理硬盘空间,监控服务状态,自动重启服务,保证服务可用。

第三阶段:主要问题是分布式服务之间调不通。因为开发人员在本地调试时,随意修改配置文件导致服务之间调用组名不对。

我们部署了两套测试环境,一套对外提供服务,供他人测试调用,一套自己使用。保存本地配置,与线上配置比对,防止误改。使用自动化测试,检查整个系统的健康状况,及时修复。

代码静态扫描

代码质量管理系统

1、 配置SONAR环境。

2、 配置JENKINS环境,下载SONARQUBE插件,并进行配置。


3、 在JENKINS代码静态扫描的JOB后,配置运行SONAR。


代码覆盖率收集

单元测试代码覆盖率环境搭建

1、 配置POM.XML文件

  1. sed -i 's%</plugins>%  

  2. <plugin> 

  3.  <groupId>org.codehaus.mojo</groupId> 

  4.     <artifactId>sonar-maven-plugin</artifactId> 

  5.     <version>1.0</version> 

  6. </plugin> 

  7. <plugin> 

  8.     <groupId>org.apache.maven.plugins</groupId> 

  9.     <artifactId>maven-surefire-plugin</artifactId> 

  10.     <version>2.9</version> 

  11.     <configuration> 

  12.         <skip>false</skip> 

  13.     </configuration> 

  14. </plugin> 

  15. <plugin> 

  16.     <groupId>org.jacoco</groupId> 

  17.     <artifactId>jacoco-maven-plugin</artifactId> 

  18.     <version>0.7.4.201502262128</version> 

  19.     <executions> 

  20.         <execution> 

  21.             <id>default-prepare-agent</id> 

  22.             <goals> 

  23.                 <goal>prepare-agent</goal> 

  24.             </goals> 

  25.         </execution> 

  26.         <execution> 

  27.             <id>default-report</id> 

  28.             <phase>prepare-package</phase> 

  29.             <goals> 

  30.                 <goal>report</goal> 

  31.             </goals> 

  32.         </execution> 

  33.         <execution> 

  34.             <id>default-check</id> 

  35.             <goals> 

  36.                 <goal>check</goal> 

  37.             </goals> 

  38.             <configuration> 

  39.                 <rules> 

  40.                     <!--  implementation is needed only for Maven 2  --> 

  41.                     <rule implementation='org.jacoco.maven.RuleConfiguration'> 

  42.                         <element>BUNDLE</element> 

  43.                         <limits> 

  44.                             <!--  implementation is needed only for Maven 2  --> 

  45.                             <limit implementation='org.jacoco.report.check.Limit'> 

  46.                                 <counter>COMPLEXITY</counter> 

  47.                                 <value>COVEREDRATIO</value> 

  48.                                 <minimum>0.00</minimum> 

  49.                             </limit> 

  50.                         </limits> 

  51.                     </rule> 

  52.                 </rules> 

  53.             </configuration> 

  54.         </execution> 

  55.     </executions> 

  56. </plugin> 

  57. %' pom.xml

2、 JENKINS运行MVN CLEAN INSTALL命令,生成代码覆盖率报告。

功能测试代码覆盖率环境搭建

1、 启动脚本中插入监听参数。

2、 DUMP出监听文件。

3、 使用ANT脚本生成最终的HTML。

4、 配置到JENKINS的持续集成环境。

自动化测试

UI自动化测试集成到JENKINS:SELENIUM+TESTNG+JENKINS

1、 配置MAVEN POM.XML 文件

2、 配置JENKINS JOB

HTTP接口自动化测试:JENKINS+ANT+JENKINS

  1. <?xml version='1.0' encoding='UTF-8'?>   

  2.   <project name='ant-jmeter-test' default='all' basedir='.'>   

  3.     <tstamp>   

  4.         <format property='time' pattern='yyyyMMddhhmmss' />   

  5.     </tstamp>   

  6.     <!-- 需要改成自己本地的 Jmeter 目录-->   

  7.     <property name='jmeter.home' value='D:\\program\\apache-jmeter-2.13' />  

  8.     <!-- jmeter生成jtl格式的结果报告的路径-->   

  9.     <property name='jmeter.result.jtl.dir' value='results' />   

  10.     <!-- jmeter生成html格式的结果报告的路径-->   

  11.     <property name='jmeter.result.html.dir' value='results' />   

  12.     <!-- 生成的报告的前缀-->   

  13.     <property name='ReportName' value='maincase' />   

  14.     <property name='jmeter.result.jtlName' value='${jmeter.result.jtl.dir}/${time}-${ReportName}.jtl' />   

  15.     <property name='jmeter.result.htmlName' value='${jmeter.result.html.dir}/${time}-${ReportName}.html' />   

  16.     <property name='jmeter.result.index' value='${jmeter.result.html.dir}/index.html' />   

  17.     <target name='all'>   

  18.         <antcall target='clean' /> 

  19.         <antcall target='test' /> 

  20.         <antcall target='report' />   

  21.     </target>   

  22.     <target name='clean'> 

  23.     <delete> 

  24.         <fileset dir='${jmeter.result.jtl.dir}' includes='*.jtl'/> 

  25.     </delete> 

  26.      <!-- <mkdir dir='copydir'/>         

  27.     <move todir='copydir'>  

  28.         <fileset dir='${jmeter.result.jtl.dir}'> 

  29.             <include name='*.jtl'/> 

  30.         </fileset> 

  31.     </move> --> 

  32.     </target>     

  33.     <target name='test'>   

  34.         <taskdef name='jmeter' classname='org.programmerplanet.ant.taskdefs.jmeter.JMeterTask' />   

  35.         <jmeter jmeterhome='${jmeter.home}' resultlog='${jmeter.result.jtlName}'>   

  36.             <!-- 声明要运行的脚本。'*.jmx'指包含此目录下的所有jmeter脚本-->   

  37.             <testplans dir='jmeter' includes='*.jmx' />   

  38.         </jmeter>   

  39.     </target>   

  40.     <target name='report'>   

  41.         <xslt in='${jmeter.result.jtlName}'   

  42.               out='${jmeter.result.htmlName}'   

  43.               style='${jmeter.home}/extras/jmeter-results-detail-report_21.xsl' />   

  44.          <delete file='${jmeter.result.index}'/>  

  45.          <copy tofile='${jmeter.result.index}' file='${jmeter.result.htmlName}'/>  

  46.         <!-- 因为上面生成报告的时候,不会将相关的图片也一起拷贝至目标目录,所以,需要手动拷贝 -->   

  47.         <copy todir='${jmeter.result.html.dir}'>   

  48.             <fileset dir='${jmeter.home}/extras'>   

  49.                 <include name='collapse.png' />   

  50.                 <include name='expand.png' />   

  51.             </fileset>   

  52.         </copy>   

  53.     </target>   

  54. </project>

APP自动化测试

选择APPIUM是因为它支持ANDROID和IOS系统,支持现有框架和多种语言,而且可以跨应用。最重要的是APPIUM不依赖于源代码。

APP自动化测试在持续集成中也遇到了一些问题:

1、 针对网络不稳定失败率高,我们引入了重试监听机制,如果重试3次还不能通过,我们就认为这条CASE是有问题的。

2、 定位CASE失败原因比较难,我们加入了截图和日志功能,多打日志加截图,就能比较容易的发现导致CASE失败的原因。

3、 运行速度慢,ANDROID可以启动多个服务,分布运行。

后续计划

  1. 不断提高自动化覆盖率,减少重复性的工作

  2. 集成压力回归测试,保证上线的性能

  3. 提供更多的测试工具,方便和提高测试效率

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多