文档章节

持续集成Java覆盖率合并

彼得
 彼得
发布于 2014/03/26 14:44
字数 1306
阅读 439
收藏 13

原来:

后来:(丑了点,但是链接进去和上图中三个一样,但直观明了)

#! /usr/bin/python
# -*- coding: utf8 -*-

import os
import re
import sys
import datetime

'''
@author     :   U{peterguo<mailto: peterguo@vip.qq.com>}
@copyright  :   tencent
@date       :   2014-03-24
@version    :   1.0.0.0
@desc       :   1.统计当前目录下的覆盖率报表
                2.如果存在多份报表,则合并生成一个简单的总表
                3.支持Java项目(C++后续支持)
                
@note           1.生成的覆盖率总表为./coverage_report/index.html 点击链接失败则是因为相对路径问题
                4.调用时请配合如下shell脚本进行
                strParam=""
                for item in `find . -name "frame-summary.html"`
                do
                   subPrjName=`echo $item | awk -F"/" '{print $2}'`
                   strParam="$strParam $subPrjName:$item"
                done
                python ~/bin/merge_cov.py $strParam
'''

def RecursiveListLocDir(strPath, topdown = True):
    '''
    递归扫描目录下的所有文件
    '''
    vRet = []
    for root, dirs, files in os.walk(strPath, topdown):
        for name in files:
            vRet.append(os.path.join(root, name))
        for name in dirs:
            vRet.append(os.path.join(root, name) + "/")
    return vRet

class CovData(object):
    '''
    项目覆盖率 Java使用:mvn cobertura:cobertura Cpp使用:gcov
    '''    
    def __init__(self, strProjectName, strHtmlFilePath):
        '''
        strHtmlFilePath: 
            c++ : index.html
            java: frame-summary.html
        '''
        self.projectMame = strProjectName                           #项目名,按照目录级别获取
        self.strHtmlFilePath = strHtmlFilePath                      #记录下原始html,以便拼接链接
        self.strTime = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")   #生成时间
        
        self.strType = {"index.html":"cpp", "frame-summary.html":"java"}[os.path.basename(strHtmlFilePath)]
        
        if self.strType == "cpp":
            lRet = CovData.GetCppCovIndexHtml(strHtmlFilePath)
            
        if self.strType == "java":
            lRet = CovData.GetJavaCov(strHtmlFilePath)

        self.dLines  = {"Hit":lRet[0], "Total":lRet[1], "Cov":100.0*lRet[0]/(lRet[1]+0.0001)}
        self.dBranch = {"Hit":lRet[2], "Total":lRet[3], "Cov":100.0*lRet[2]/(lRet[3]+0.0001)}

    def showResult(self):
        '''
        按照一定格式打印出来
        '''
        print self.projectMame, self.strTime, self.strType, str(self.dLines), str(self.dBranch)
        
    @staticmethod
    def GetCppCovIndexHtmlOld(strHtmlFilePath):
        '''
        index.html
        '''
        vPath = strHtmlFilePath.split(os.sep)
        covData = CovData()
        covData.projectMame = vPath[-2] 

        cov_re = r"<td class=\"headerCovTableEntry(\D+)\">(\d+[\.]\d+)"
        
        f = open(strHtmlFilePath, 'r')
        html_text = f.read()
        
        cov_list = re.findall(cov_re,html_text)
        #行覆盖率
        covData.strLinesCov = str(cov_list[0][1])
        #函数覆盖率
        covData.strFuncCov = str(cov_list[1][1])
        #分支覆盖率
        covData.strBranchCov = str(cov_list[2][1])
        
        cov_re = r"<td class=\"headerCovTableEntry\">(\d+)"
        hit_total_list = re.findall(cov_re,html_text)
        covData.strLinesHit = str(hit_total_list[0])
        covData.strLinesTotal = str(hit_total_list[1])
        covData.strFuncHit = str(hit_total_list[2])
        covData.strFuncTotal = str(hit_total_list[3])
        covData.strBranchHit = str(hit_total_list[4])
        covData.strBranchTotal = str(hit_total_list[5])

        cov_re = r"<td class=\"headerValue\">(\d+[-]\d+[-]\d+)"
        time_list = re.findall(cov_re,html_text)
        #时间
        covData.strTime = (time_list[0])
        return covData
        
    @staticmethod      
    def GetCppCovIndexHtml(strHtmlFilePath):
        '''
        index.html
        '''
        fp = open(strHtmlFilePath, 'r')
        strCovHtml = fp.read()
        fp.close()
        
        #C++覆盖率直接可以获取,如下代码备用
        lObj = re.findall(r"<td class=\"headerCovTableEntry(\D+)\">(\d+[\.]\d+)", strCovHtml)
        fLinesCov = float(str(lObj[0][1]))
        fFuncCov = float(str(lObj[1][1]))
        fBranchCov = float(str(lObj[2][1]))

        lObj = re.findall(r"<td class=\"headerCovTableEntry\">(\d+)", strCovHtml)
        nLinesHit, nLinesTotal   = int(str(lObj[0])), int(str(lObj[1]))
        nFuncHit, nFuncTotal     = int(str(lObj[2])), int(str(lObj[3]))
        nBranchHit, nBranchTotal = int(str(lObj[4])), int(str(lObj[5]))
        
        #考虑到项目一般关注行覆盖率和分支覆盖率,这里忽略函数覆盖率
        return nLinesHit, nLinesTotal, nBranchHit, nBranchTotal
        
    @staticmethod  
    def GetJavaCov(strHtmlFilePath):
        '''
        frame-summary.html
        '''
        fp = open(strHtmlFilePath, 'r')
        strCovHtml = fp.read()
        fp.close()
        
        lObj = re.findall('''span class="text">[0-9]{1,}/[0-9]{1,}''', strCovHtml) 
        lTmp = re.split("[>/']", str(lObj[0:2]))
        
        nLineHit, nLinesTotal = int(lTmp[2]), int(lTmp[3]), 
        nBranchHit, nBranchTotal = int(lTmp[6]), int(lTmp[7])
        
        fLinePer = nLineHit * 100.0 / nLinesTotal
        fBranPer = nBranchHit * 100.0 / nBranchTotal
        
        #考虑到项目一般关注行覆盖率和分支覆盖率,这里忽略函数覆盖率
        return nLineHit, nLinesTotal, nBranchHit, nBranchTotal

    @staticmethod
    def DumpCov(loCov, strTargetHtml):
        '''
        拼接一个简单的html页面,里面带链接,可以跳转到真正的html覆盖率报表
        '''
        nLinesHit, nLinesTotal, nBranchHit, nBranchTotal = 0, 0, 0, 0
        
        print "\nMerging ... into.......... ", strTargetHtml   
       
        #生成html总报表 
        strReportHead = '''<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"><html><head><meta http-equiv="Content-Type" content="text/html; charset=UTF-8"/><title>覆盖率报告</title></head><body><table align="center" width="70%" border="1pix"><thead><tr><td align="center">模块名称</td><td align="center">Hit/Total(行)</td><td align="center">行覆盖率</td><td align="center" >Hit/Total(分支)</td><td align="center">分支覆盖率</td></tr></thead><tbody>'''
        strReportTail = '''</tbody></table><script type="text/javascript"></body></html>''' 
        strReportRowFmt = '''<tr><td align="center">%s</td><td align="center">%d/%d</td><td align="center"><a href="%s">%.3f%%</td><td align="center">%d/%d</td><td align="center"><a href="%s">%.3f%%</td></tr>'''

        fp = file(strTargetHtml, "wt") 
        fp.write(strReportHead)
        for oCovData in loCov:
            oCovData.showResult()
            
            nLinesHit   += oCovData.dLines["Hit"]
            nLinesTotal += oCovData.dLines["Total"]            
            nBranchHit  += oCovData.dBranch["Hit"]            
            nBranchTotal+= oCovData.dBranch["Total"]          

            #模块覆盖率情况
            strSourceFileName = oCovData.strHtmlFilePath
            strRow = strReportRowFmt % (oCovData.projectMame, oCovData.dLines["Hit"], oCovData.dLines["Total"], "."+strSourceFileName, oCovData.dLines["Cov"], \
                                                              oCovData.dBranch["Hit"], oCovData.dBranch["Total"], "."+strSourceFileName, oCovData.dBranch["Cov"] )
            fp.write(strRow)  
            
        fLinesCov   = 100.0 * nLinesHit / (nLinesTotal + 0.0001)
        fBranchCov  = 100.0 * nBranchHit / (nBranchTotal + 0.0001)
        
        #总体覆盖率情况
        strSourceFileName = strTargetHtml
        strRow = strReportRowFmt % ("汇总", nLinesHit, nLinesTotal, "."+strSourceFileName, fLinesCov, nBranchHit, nBranchTotal, "."+strSourceFileName, fBranchCov)

        fp.write(strRow) 
        fp.write(strReportTail)
        fp.close()

        print "Summary: ", nLinesHit, nLinesTotal, fLinesCov, nBranchHit, nBranchTotal, fBranchCov
 

    @staticmethod
    def MergeCov(lParams, strTargetIndexHtml):
        loCov = []    
        for strParm in sys.argv[1:]:
            strProjectName, strCovHtml = strParm.split(":")
            oCovData = CovData(strProjectName, strCovHtml)
            oCovData.showResult()            
            loCov.append(oCovData)        
        CovData.DumpCov(loCov, strTargetIndexHtml)
        
def usage(strScriptName):
    print "Usage: python %s proj1:./abc/def/index.html proj2:./aab/def/index.html" % strScriptName
    print "Exam : python %s cpp:/usr/local/tomcat/webapps/jenkins/workspace/helloworld-cpp/coverage_result/index.html java:/usr/local/tomcat/webapps/jenkins/workspace/helloworld-freestyle/target/site/cobertura/frame-summary.html" % strScriptName
    sys.exit(0)

if __name__ == "__main__":
    if len(sys.argv) == 1:
        usage(sys.argv[0])

    if not os.path.exists("./coverage_report"): os.mkdir("./coverage_report") 
    CovData.MergeCov(sys.argv[1:], "./coverage_report/index.html")


典型构建脚本举例:

#! /bin/bash

#note   : build, ut, coverage, deploy
#author : peterguo
#date   : 2014.04.24

#处理补丁问题
/data/home/jenkins/bin/reverse_patch.sh

#findbugs html report
/usr/maven/bin/mvn compile site

#执行编译,ut,覆盖率
/usr/maven/bin/mvn install package assembly:assembly cobertura:cobertura findbugs:findbugs

#收集所有的单元测试结果
/bin/mkdir ./xml_test_report -p; /bin/cp $(/usr/bin/find . -name "TEST*xml") ./xml_test_report

#同时汇总出一份带链接的html汇总报表
strParam=""
for item in `find . -name "frame-summary.html"`
do
   subPrjName=`echo $item | awk -F"/" '{print $2}'`
   strParam="$strParam $subPrjName:$item"
done
python ~/bin/merge_cov.py $strParam

#部署到测试环境
SRC_PKG=`find ./target/ -name "jstorm-*tar.gz"`
/data/home/jenkins/bin/md5_upload.exp storm storm 10.187.139.144 $SRC_PKG /data/home/storm/deploy/$(basename $SRC_PKG)
/data/home/jenkins/bin/md5_upload.exp storm storm 10.187.139.145 $SRC_PKG /data/home/storm/deploy/$(basename $SRC_PKG)


© 著作权归作者所有

共有 人打赏支持
上一篇: phpstorm快捷键
下一篇: 覆盖率结果解析
彼得

彼得

粉丝 39
博文 122
码字总数 38726
作品 0
深圳
程序员
私信 提问
广州大雅堂信息科技有限公司招聘Java工程师和Web前端开发人员

职务:Java软件工程师和高级Java软件工程师 人数:2人 薪酬范围:3k - 8k 任职要求(重要性递减顺序): 1. 素质: n 发自内心热爱软件开发,将软件开发视为事业而不仅是职业。 n 追求完美。...

秋水逍遥
2011/06/16
1K
17
用Gradle构建Spring Boot项目

相比起Maven的XML配置方式,Gradle提供了一套简明的DSL用于构建Java项目,使我们就像编写程序一样编写项目构建脚本。本文将从无到有创建一个用Gradle构建的Spring Boot项目,并在此过程中讲到...

asdf08442a
09/28
0
0
一步步搭建jenkins持续集成平台

【持续集成相关工具集】: CI-Server(Jenkins/Hudson.....) 代码管理工具(SVN/git...) java框架(maven) 覆盖率工具(c++:gcov java:maven cobertura插件) 静态扫描插件(jenkins插件) 覆...

彼得
2014/03/28
0
0
敏捷开发中高质量 Java 代码开发实践

Java 项目开发过程中,由于开发人员的经验、代码风格各不相同,以及缺乏统一的标准和管理流程,往往导致整个项目的代码质量较差,难于维护,需要较大的测试投入 和周期等问题。这些问题在一个...

红薯
2010/02/13
4.4K
10
Java 的最佳实践

Java 是在世界各地最流行的编程语言之一, 但是看起来没人喜欢使用它。而 Java 事实上还算是一门不错的语言,随着 Java 8 最近的问世,我决定编制一个库,实践和工具的清单,汇集 Java 的一些...

金河
2015/09/22
22.3K
68

没有更多内容

加载失败,请刷新页面

加载更多

《阿里铁军》的读书笔记和读后感范文2600字

《阿里铁军》的读书笔记和读后感范文2600字: 在中国互联网,有一个流传很广的说法是,百度强在技术,腾讯强在产品,阿里强在运营。虽然发展到今天,已经不能再用这样简单的视角来看待这三个...

原创小博客
31分钟前
2
0
怎样实际项目中运用责任链模式

1 模式概要 1.1 简介 责任链模式为请求创建一个接收者对象链,每个接收者都包含对另一个接收者的引用,如果一个对象不能处理该请求,那么它会把请求传给下一个接收者,依此类推 责任链模式避...

小刀爱编程
46分钟前
2
0
【宇润日常疯测-004】JS 遍历数组如何快!快!快!

首先,我就是一后端全栈,对前端也只是会用罢了。闲的无聊来测测,不深究,只看表面,不喜勿喷! 遍历数组在写 JS 代码时候一定是经常用的,那么怎么遍历能达到最高效率呢,很多人一定没有测...

宇润
50分钟前
11
2
Linux系统如何定制History输出格式

Linux系统使用History命令来查看系统的运行记录,从而找出一些问题。但是History输出的数据中常常没有时间等信息。本文就来教大家Linux系统如何定制History输出格式。   具体方法如下 以r...

linuxprobe16
52分钟前
2
0
(一) pyhon 基础语法(数值 字符串 元组 列表 字典)

1、python的数据类型: 数值 字符串 列表 元组 字典; 数值类型包括; 整型(int) 长整型(long) 浮点型(float) 复数型 字符串; 可以通过type() 来查看是什么类型的; 注释:len()只支持 字符...

芬野de博客
52分钟前
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部