性能測試診斷分析與優(yōu)化

前言

　　前言　　軟件系統(tǒng)是企業(yè)IT的核心，軟件系統(tǒng)的質(zhì)量影響著企業(yè)的運轉(zhuǎn)、業(yè)務的開展，除了軟件系統(tǒng)的功能正確性外，軟件系統(tǒng)的質(zhì)量還包括性能、安全性、可靠性等?！　≤浖阅軉栴}遍布各種行業(yè)領域的軟件系統(tǒng)，例如金融業(yè)務服務系統(tǒng)、電子商務網(wǎng)站、移動互聯(lián)應用系統(tǒng)、網(wǎng)絡游戲、嵌入式軟件系統(tǒng)等。在競爭日趨激烈的商業(yè)環(huán)境下，為了滿足用戶日益增加的體驗需求，軟件系統(tǒng)的性能優(yōu)化被提到了前所未有的高度，您的軟件系統(tǒng)比競爭對手快1秒，您就有可能比競爭對手多賺100萬！　　軟件性能優(yōu)化離不開性能測試，全面的性能優(yōu)化需要全過程的性能測試解決方案，包括性能需求分析、性能設計、性能系統(tǒng)測試、性能診斷分析與調(diào)優(yōu)。　　在軟件生命周期的需求分析階段，需要對軟件性能的需求作出定義，并進行需求分析，尤其是軟件性能需求的可測試性分析，這有利于后續(xù)開展性能架構(gòu)設計和性能測試的工作?！　≡谠O計階段，尤其是架構(gòu)設計階段，應該對軟件系統(tǒng)的性能架構(gòu)進行充分設計、原型評估，必要時在這個階段可進行小規(guī)模的性能驗證性測試，以便論證系統(tǒng)架構(gòu)在性能上的可擴展性。　　在代碼設計階段，需要按照指定的開發(fā)規(guī)范進行軟件開發(fā)。為了獲得最佳的性能體驗，需要從每個細節(jié)入手確保軟件性能，及時進行代碼性能檢查和評估?！　∠到y(tǒng)的性能測試可分為負載測試、壓力測試、耐力測試、容量測試等多種類型，不同類型的性能測試側(cè)重點不同，需要根據(jù)軟件系統(tǒng)特點和項目類型進行選擇?！　≤浖到y(tǒng)的性能瓶頸可能出現(xiàn)在各個環(huán)節(jié)，例如數(shù)據(jù)庫、中間件應用服務器、Web服務器、網(wǎng)絡、代碼層。性能瓶頸的定位和診斷分析需要熟悉軟件系統(tǒng)的各個方面，通常需要多種項目成員角色配合一起完成，例如DBA、系統(tǒng)管理員、網(wǎng)絡管理員、設計人員、測試人員等?！　”緯Y(jié)合主流的性能測試工具Load Runner，講解性能測試過程、方法和技術(shù)。另外，結(jié)合筆者多年性能測試和性能優(yōu)化經(jīng)驗，詳細講解了軟件系統(tǒng)常見的性能瓶頸，以及如何發(fā)現(xiàn)、診斷分析這些性能瓶頸，從而提出性能優(yōu)化方案?！　”緯膬?nèi)容安排　　本書分為3篇，共10章，從軟件性能測試的基本概念講起，再進一步介紹性能測試的基本方法和流程，然后基于Load Runner介紹性能測試工具的使用方法、測試腳本的開發(fā)技巧，以及性能場景設計、性能測試結(jié)果分析，之后結(jié)合主流操作系統(tǒng)、Web服務器、應用服務器和數(shù)據(jù)庫，從多方面、多角度出發(fā)詳細講解性能問題的診斷分析技巧?！　〉?篇性能測試基礎篇（第1章和第2章）　　講述了性能測試的基礎知識，性能測試基本流程。這兩章內(nèi)容是性能測試工程師必須具備的基礎知識?！　〉?篇性能測試工具篇（第3章到第5章）　　性能測試工具是性能測試工程師的基本“裝備”，掌握性能測試工具的基本使用方法，才有可能順利開展性能測試和性能監(jiān)控，以及后續(xù)的性能分析診斷、性能優(yōu)化工作。Load Runner作為業(yè)界主流的性能測試工具，是性能測試工程師必備的“利器”。第3章到第5章的內(nèi)容涵蓋Load Runner性能測試工具的使用、腳本開發(fā)、場景設計與運行、測試結(jié)果分析等內(nèi)容?！　〉?篇性能問題診斷分析篇（第6章到第10章）　　性能瓶頸可能出現(xiàn)在軟件系統(tǒng)的各個方面，第6章到第10章的內(nèi)容分別從Web服務器、應用服務器、數(shù)據(jù)庫服務器、應用程序代碼、操作系統(tǒng)等層面進行性能問題的分析診斷。讓性能測試工程師可以借助筆者總結(jié)的豐富經(jīng)驗，應用于實際性能測試項目的性能問題診斷分析優(yōu)化?！　”緯蓽\入深，由理論到實踐，尤其適合初級讀者逐步學習和完善自己的性能測試方面的知識結(jié)構(gòu)，加上Load Runner性能測試工具的應用技巧和性能瓶頸的分析診斷技巧，是性能測試團隊和性能測試工程師的案頭指南和最佳實踐指導?！　”緯厣　”緯谥v解性能測試過程、性能測試工具Load Runner的使用，以及性能問題診斷分析的過程中，通過詳細的例子進行分析，讓讀者可以通過例子理解，并且可以自己進行嘗試，非常適合獨立學習和研究性能測試技術(shù)、性能優(yōu)化技巧的初級測試工程師參考使用?！　”緯匝驖u進的方式講解了性能測試的基本知識，結(jié)合Load Runner的使用，深入講解性能測試腳本的開發(fā)，在講解性能診斷分析技術(shù)時，涉及目前流行的Web服務器、應用服務器、數(shù)據(jù)庫服務器等方面的內(nèi)容，例如Apache、Tomcat、WebLogic、Oracle、Linux等?！　≡谥v解性能診斷分析技術(shù)時，首先分析系統(tǒng)組件的架構(gòu)原理，再介紹性能監(jiān)控的方法，最后引出性能問題出現(xiàn)的原因和診斷分析的技巧，以及調(diào)優(yōu)的方法。　　適合閱讀本書的讀者　　本書面向使用Load Runner等性能測試工具進行性能測試的測試工程師、QA，以及希望了解性能測試的測試員，希望掌握性能診斷分析技術(shù)的軟件工程師。　　編者　　2012年3月

內(nèi)容概要

　　《測試實踐叢書：性能測試診斷分析與優(yōu)化》是軟件系統(tǒng)健康持續(xù)運行的前提，在軟件系統(tǒng)上線之前，必須由性能測試工程師采用合理的測試策略，設計相應的性能測試方案，對軟件系統(tǒng)實施性能測試、壓力測試、負載測試等。性能測試往往能在軟件系統(tǒng)上線前揭露軟件系統(tǒng)的性能問題，如何診斷分析軟件系統(tǒng)的性能瓶頸是軟件開發(fā)團隊實施性能優(yōu)化的關鍵。
　　《測試實踐叢書：性能測試診斷分析與優(yōu)化》結(jié)合主流性能測試工具LoadRunner，講解性能測試過程、方法和技術(shù)；結(jié)合筆者豐富的性能診斷調(diào)優(yōu)經(jīng)驗，講解如何有效分析和診斷性能問題、發(fā)現(xiàn)性能瓶頸。
　　本書分為3篇，第1篇是性能測試基礎篇，主要介紹性能測試的基礎知識；第2篇是性能測試工具篇，主要介紹如何使用主流的性能測試工具LoadRunner進行性能腳本設計、性能場景設計和性能結(jié)果分析；第3篇是性能問題診斷分析篇，主要介紹如何分析、定位性能瓶頸，涵蓋Web服務器、應用服務器、數(shù)據(jù)庫、應用代碼、操作系統(tǒng)等層面的診斷分析。

作者簡介

陳能技，資深軟件測試專家，廣州億能測試技術(shù)服務有限公司（www.gdtesting_com）創(chuàng)始人。10年軟件測試和質(zhì)量管理經(jīng)驗。熟悉軟件自動化測試、性能測試、安全測試及相關工具的應用。曾主導多個大型軟件項目的測試和質(zhì)量保證工作，包括：飛機維修跟蹤管理系統(tǒng)、IETM技術(shù)資料管理系統(tǒng)、物流管理系統(tǒng)等。為多家企業(yè)進行軟件測試方面的培訓和咨詢顧問，包括：上海阿爾斯通、施耐德、深圳空管站、廣電運通、中國南車、廈門35互聯(lián)、廣州數(shù)控、易方達、貴州電網(wǎng)、環(huán)球市場集團等。著有《軟件測試技術(shù)大全》、《.NET軟件測試實戰(zhàn)技術(shù)大全》、《QTP自動化測試進階》、《軟件自動化測試成功之道》等多本暢銷書。 郭柏雅，來自美麗的海上花園城市廈門的一個平凡的軟件測試工程師，是7dtest、祿澤測試論壇版主、祿澤教育特約高級講師。多年來一直致力于研究銀行業(yè)商業(yè)智能數(shù)據(jù)服務、數(shù)據(jù)類型項目測試和軟件性能測試診斷分析優(yōu)化技術(shù)工作。多次幫助商業(yè)銀行客戶解決生產(chǎn)故障問題，為他們提供測試咨詢支持工作。目前擔任公司測試主管，具有豐富的測試團隊管理、自動化測試工作經(jīng)驗。一直以來受當?shù)囟嗉襂T公司邀請?zhí)峁┸浖阅軠y試和診斷分析優(yōu)化技術(shù)指導培訓工作，多次受當?shù)馗咝Ｑ垶楫厴I(yè)生做就業(yè)培訓指導工作。

書籍目錄

第1篇 性能測試基礎篇
第1章 性能測試基礎
1.1 性能測試的重要意義
1.1.1 功能測試和性能測試
1.1.2 項目組不同角色眼中的軟件性能
1.1.3 1秒的性能對于顧客的意義
1.2 軟件性能的生命周期
1.2.1 需求階段的性能分析
1.2.2 設計開發(fā)階段的性能分析與驗證
1.2.3 系統(tǒng)測試階段的性能驗證與優(yōu)化
1.3 軟件性能認知
1.3.1 什么是軟件性能
1.3.2 影響軟件性能的因素
1.3.3 軟件性能測試目標
1.3.4 性能測試術(shù)語
1.3.5 網(wǎng)絡協(xié)議
1.3.6 HTTP協(xié)議
1.3.7 協(xié)議分析工具
1.3.8 性能測試工程師的素質(zhì)要求
1.4 性能測試框架
1.4.1 性能測試工具原理
1.4.2 Controller的簡單設計
1.4.3 Agent的簡單設計
1.4.4 虛擬用戶的產(chǎn)生
第2章 性能測試流程
2.1 性能需求調(diào)研
2.1.1 性能測試需求分析
2.1.2 性能需求清晰嗎
2.1.3 “不成文的”性能需求定義
2.1.4 業(yè)務模型調(diào)研
2.1.5 業(yè)務數(shù)據(jù)分析方法
2.1.6 業(yè)務數(shù)據(jù)分析工具的使用
2.1.7 性能指標調(diào)研
2.2 性能測試策劃階段
2.2.1 性能測試方案
2.2.2 性能測試計劃
2.2.3 性能測試工具選型
2.2.4 性能測試策略
2.2.5 測試輔助診斷分析工具
2.3 性能測試環(huán)境搭建
2.3.1 ASP/ASP.NET性能測試環(huán)境搭建
2.3.2 LAMP性能測試環(huán)境搭建
2.3.3 J2EE性能測試環(huán)境搭建
2.4 性能測試執(zhí)行過程與性能報告
2.4.1 性能測試執(zhí)行過程
2.4.2 性能測試報告
第2篇 性能測試工具篇
第3章 LoadRunner腳本開發(fā)
3.1 LoadRunner工具簡介
3.1.1 LoadRunner綜述
3.1.2 LoadRunner安裝
3.1.3 LoadRunner的安裝部署常見問題
3.1.4 LoadRunner組件
3.1.5 LoadRunner支持的協(xié)議
3.1.6 LoadRunner支持的腳本語言
3.1.7 LoadRunner的基本使用步驟
3.2 LoadRunner腳本設計基礎——C語言
3.2.1 C語言簡介
3.2.2 C語言的特點
3.2.3 學習C語言
3.3 LoadRunner腳本開發(fā)與維護
3.3.1 使用VUGen錄制腳本
3.3.2 錄制IE瀏覽器常見問題的解決方法
3.3.3 如何選擇協(xié)議
3.3.4 LoadRunner腳本調(diào)試技巧
3.3.5 事務定義和劃分
3.3.6 檢查點的使用
3.3.7 關聯(lián)取值
3.3.8 關聯(lián)的應用例子
3.3.9 參數(shù)化使用
3.3.10 參數(shù)化數(shù)據(jù)的準備
3.3.11 關于參數(shù)化數(shù)據(jù)連接數(shù)據(jù)庫的看法
3.3.12 思考時間
3.3.13 LoadRunner思考時間與事務響應時間
3.3.14 HTML-based與URL-based錄制方式的區(qū)別
3.3.15 腳本結(jié)構(gòu)設計
3.4 虛擬用戶協(xié)議腳本設計與常用函數(shù)使用
3.4.1 LoadRunner字符串操作函數(shù)
3.4.2 自定義字符串函數(shù)
3.4.3 目錄、文件操作函數(shù)
3.4.4 編寫自定義格式的HTTP請求
3.4.5 調(diào)用DLL
3.4.6 事務相關函數(shù)
第4章 LoadRunner場景設計與運行
4.1 場景分析與計劃
4.1.1 分析被測試系統(tǒng)的組成
4.1.2 描述系統(tǒng)配置
4.1.3 分析用戶使用模式
4.1.4 分析任務的分布情況
4.1.5 測試類型與測試場景
4.1.6 選擇度量響應時間的范圍
4.1.7 定義用戶活動
4.1.8 選擇測試環(huán)境
4.2 Controller的使用
4.2.1 手工場景設計
4.2.2 場景調(diào)度設計
4.2.3 壓力負載機自動均衡
4.2.4 使用IP欺騙
4.2.5 面向目標的場景設計
4.2.6 服務水平協(xié)議（SLA）
4.2.7 集合點的使用
4.2.8 Controller中運行界面Stopped和Passed的區(qū)別
4.2.9 場景運行錯誤分析：120秒超時問題的
定位分析
第5章 LoadRunner測試結(jié)果分析
5.1 LoadRunner測試數(shù)據(jù)分析
5.1.1 虛擬用戶圖
5.1.2 事務圖
5.1.3 Web資源圖
5.2 Analysis測試結(jié)果分析
5.2.1 90％響應時間
5.2.2 頁面細分圖
5.2.3 使用Analysis生成測試報告
第3篇 性能問題診斷分析篇
第6章 Web服務性能問題診斷分析
6.1 Web服務器架構(gòu)與Apache
6.2 Apache性能監(jiān)控
6.3 Apache性能計數(shù)器
6.4 Apache日志監(jiān)控
6.5 MPM對Apache性能的影響
6.6 調(diào)整MaxClients
6.7 調(diào)整MaxSpareServers
6.8 KeepAlive的配置
6.9 mod_cache的應用
6.10 卸載未使用的Apache模塊
第7章 應用服務性能問題診斷分析
7.1 應用服務器架構(gòu)分析
7.2 Tomcat性能監(jiān)控分析
7.2.1 Tomcat性能監(jiān)控方法
7.2.2 Tomcat與JVM優(yōu)化
7.2.3 Tomcat與內(nèi)存泄漏
7.2.4 maxThreads：連接線程數(shù)監(jiān)控與調(diào)整
7.2.5 connectionTimeout：連接超時的設置
7.2.6 acceptCount：最大排隊數(shù)的設置
7.2.7 Tomcat Native library（APR）的配置
7.2.8 Connector：連接器的配置
7.3 WebLogic中間件性能監(jiān)控分析
7.3.1 Session監(jiān)控
7.3.2 WebLogic的Session持久化
7.3.3 WebLogic線程數(shù)的監(jiān)控
7.3.4 JDBC連接數(shù)監(jiān)控與調(diào)優(yōu)
7.3.5 JDBC連接池泄漏問題檢測
7.3.6 WebLogic的JVM監(jiān)控分析
7.4 WebSphere中間件性能監(jiān)控分析
7.4.1 WebSphere性能監(jiān)控方法
7.4.2 WebSphere的Session監(jiān)控與分析
7.4.3 WebSphere線程數(shù)的監(jiān)控與分析
7.4.4 WebSphere的JDBC連接數(shù)監(jiān)控
7.4.5 WebSphere的JVM監(jiān)控分析
第8章 數(shù)據(jù)庫服務性能問題診斷分析
8.1 Oracle性能監(jiān)控方法
8.1.1 在LoadRunner中配置監(jiān)控Oracle
8.1.2 使用SiteScope監(jiān)控Oracle
8.1.3 使用Oracle企業(yè)管理器查看數(shù)據(jù)庫性能
8.1.4 使用SpotLight監(jiān)控數(shù)據(jù)庫性能
8.2 Oracle性能分析與診斷
8.2.1 排序?qū)racle性能的影響
8.2.2 Buffer Cache Hit Ratio診斷
8.2.3 優(yōu)化Oracle軟解析率
8.2.4 診斷Oracle的CPU使用率
8.2.5 跟蹤診斷和優(yōu)化SQL語句
8.2.6 Oracle索引問題診斷與優(yōu)化
第9章 應用代碼性能診斷分析
9.1 內(nèi)存泄漏診斷分析
9.1.1 代碼書寫問題導致內(nèi)存泄漏
9.1.2 堆棧內(nèi)存泄漏檢測
9.1.3 Java代碼內(nèi)存泄漏檢測
9.1.4 使用JProfile跟蹤內(nèi)存泄漏
9.2 JVM內(nèi)存泄漏診斷分析
9.2.1 JVM原理與監(jiān)控
9.2.2 JVM啟動參數(shù)介紹
9.2.3 JVM性能瓶頸診斷分析
9.2.4 JVM內(nèi)存泄漏實例一：PermGen溢出
9.2.5 JVM內(nèi)存泄漏實例二：Heap溢出
9.2.6 JVM內(nèi)存泄漏實例三：
垃圾回收時promotion failed
9.3 Servlet常見性能問題分析與優(yōu)化
9.3.1 Servlet中利用init()方法進行高速緩存
9.3.2 Servlet壓縮輸出
9.4 JSP常見性能問題分析與優(yōu)化
9.4.1 選擇正確的頁面包含機制
9.4.2 屏蔽Page Session
9.4.3 正確地確定JavaBean的生命周期
9.4.4 控制Session的時間
9.5 p6spy監(jiān)控和跟蹤SQL語句
9.6 Log4j性能診斷與優(yōu)化
9.7 代碼效率性能測試與優(yōu)化
第10章 操作系統(tǒng)性能問題診斷分析
10.1 Windows性能監(jiān)控
10.1.1 LoadRunner監(jiān)控遠程機器Windows資源
10.1.2 Windows資源監(jiān)控計數(shù)器
10.2 Linux/UNIX性能監(jiān)控
10.2.1 LoadRunner結(jié)合rstatd監(jiān)控
10.2.2 Glance監(jiān)控命令在HP UX上的使用
10.3 開源系統(tǒng)監(jiān)控工具的使用
10.3.1 Nmon
10.3.2 Cacti
10.4 內(nèi)存使用監(jiān)控及性能診斷分析
10.4.1 使用free監(jiān)控Linux內(nèi)存
10.4.2 使用vmstat監(jiān)控Linux虛擬內(nèi)存
10.5 CPU使用監(jiān)控及性能診斷分析
10.5.1 使用top監(jiān)控CPU
10.5.2 Load averages監(jiān)控分析
10.5.3 使用vmstat監(jiān)控CPU
10.6 I/O使用監(jiān)控及瓶頸分析
10.6.1 使用collectl監(jiān)控I/O
10.6.2 使用iotop監(jiān)控I/O
10.6.3 Linux下的I/O瓶頸診斷分析
10.7 網(wǎng)絡監(jiān)控及瓶頸分析
10.7.1 使用netstat監(jiān)控網(wǎng)絡
10.7.2 使用iptraf監(jiān)控網(wǎng)絡
10.7.3 Windows網(wǎng)絡性能分析
10.7.4 Linux網(wǎng)絡性能分析
附錄 參考書目和資源

章節(jié)摘錄

版權(quán)頁：   插圖：   2.研發(fā)人員眼中的軟件性能 作為研發(fā)人員，他們會更關注軟件系統(tǒng)架構(gòu)設計的合理性、數(shù)據(jù)庫的設計是否存在問題、代碼是否存在性能方面問題、內(nèi)存使用方式是否正確、線程同步方式是否合理、是否存在不合理的資源競爭等。 3.測試人員眼中的軟件性能 測試人員是軟件性能質(zhì)量的把關者，在軟件性能生命周期中占據(jù)至關重要的位置，軟件性能測試工程師要對性能問題進行監(jiān)控、分析及模擬實際使用過程中所出現(xiàn)的性能問題。還要跟各個角色做好溝通工作，對測試出的各種性能問題，要提供充分有力的數(shù)據(jù)，為后續(xù)的分析和定位性能問題、性能優(yōu)化工作做好充分的準備。 1.1.31秒的性能對于顧客的意義 根據(jù)2008年Aberdeen Group的研究報告，對于Web網(wǎng)站，1秒的頁面加載延遲相當于少了11％的PV （page view），相當于降低了16％的顧客滿意度。如果從金錢的角度計算，就意味著：如果一個網(wǎng)站每天掙10萬元，那么一年下來，由于頁面加載速度比競爭對手慢1秒，可能導致總共損失25萬元的銷售額。 Compuware公司分析了超過150個網(wǎng)站和150萬個瀏覽頁面，發(fā)現(xiàn)頁面響應時間從2秒增長到10秒，會導致38％的頁面瀏覽放棄率。 由此可見，網(wǎng)站性能與業(yè)務目標有著直接的關系，對網(wǎng)站進行負載測試非常重要。 1.2軟件性能的生命周期 影響軟件性能的要素有很多，在需求階段就應該對軟件性能進行分析，在設計階段要充分考慮軟件架構(gòu)設計對性能的影響，在測試階段要充分驗證軟件的性能表現(xiàn)是否滿足需求。 1.2.1需求階段的性能分析 從業(yè)務角度分析，如果一個系統(tǒng)上線后使用人數(shù)比較多，而且后期數(shù)據(jù)量比較大（如電信、金融證券等對外開放的系統(tǒng)），就有必要做好性能測試，因為這些系統(tǒng)對于實時性交互要求比較高，對系統(tǒng)的響應時間、并發(fā)用戶數(shù)等要求都比較高，并且從數(shù)據(jù)角度分析，系統(tǒng)上線幾年后存量數(shù)據(jù)一般都是千萬級數(shù)據(jù)量，因此前期性能設計與驗證對業(yè)務系統(tǒng)的后期正常運行維護至關重要。 在軟件開發(fā)前期的需求分析階段，需求分析師與客戶業(yè)務人員溝通時，要明確提出各項性能指標，包括系統(tǒng)業(yè)務交易的使用頻度、系統(tǒng)并發(fā)用戶量、業(yè)務數(shù)據(jù)量評估等各項指標。然后對系統(tǒng)的響應時間、用戶數(shù)和資源使用進行分析。

編輯推薦

《性能測試診斷分析與優(yōu)化》是Web性能測試的專業(yè)工具書，是軟件測試工程師的良師益友。既適合性能測試工程師、軟件開發(fā)工程師、系統(tǒng)設計工程師閱讀，也可作為高等院校相關專業(yè)師生的參考書。

名人推薦

當前的軟件性能測試領域，不光要關注如何在前端通過分析AUT的業(yè)務場景來構(gòu)建負載模型，更需要在后端系統(tǒng)的監(jiān)控、性能診斷和調(diào)優(yōu)方面做更多有價值的工作。這本百科全書式的性能測試書籍，尤其在這方面做了非常有特點的探索和實踐經(jīng)驗總結(jié)，相當值得一讀。 ——夏海濤 今日在線科技發(fā)展有限公司副總經(jīng)理兼技術(shù)總監(jiān) 本書深入分析介紹軟件性能測試各階段如何介入工作，對于準備在公司組建性能測試體系流程管理的以及對于熱衷于性能診斷分析優(yōu)化技術(shù)的朋友提供了很好的引導方向，是一本很有實用價值的書！ ——zee 7dtest創(chuàng)建者 在企業(yè)級應用軟件開發(fā)過程中，為了提升應用版本上線質(zhì)量，引入第三方測試咨詢團隊已成為趨勢。作為一本全面系統(tǒng)地介紹應用性能測試診斷分析與優(yōu)化的書，相信本書的出版，將給更多有志于性能測試方向的工程師提供指引。 ——程永新 新炬網(wǎng)絡常務副總經(jīng)理

圖書封面

圖書標簽Tags

無

評論、評分、閱讀與下載

---

    性能測試診斷分析與優(yōu)化 PDF格式下載

---