摘要：換句話說(shuō)就是，讓測(cè)試更有針對(duì)性。得益于強(qiáng)大的測(cè)試技術(shù)，兼容性測(cè)試的檢出率遠(yuǎn)遠(yuǎn)高于業(yè)界水平。同時(shí)，在性能測(cè)試方面，即提供了項(xiàng)性能指標(biāo)曲線性能分析，更提供了強(qiáng)大的內(nèi)存泄漏和內(nèi)存溢出的檢測(cè)和分析能力。

摘要： Android兼容性測(cè)試旨在幫助解決Android應(yīng)用在不同真機(jī)機(jī)型上的各類兼容性問(wèn)題，包括 Crash/ANR分析、6項(xiàng)性能分析、UI檢測(cè)、3個(gè)版本的覆蓋安裝檢測(cè)等。Android兼容性測(cè)試使用非常簡(jiǎn)單，客戶只需要提交被檢測(cè)的APK文件（如需登錄再提供測(cè)試賬號(hào)/密碼），最快經(jīng)過(guò)10分鐘全面測(cè)試（其他平臺(tái)在1-3分鐘測(cè)試時(shí)長(zhǎng)）之后，將收到測(cè)試完成通知，就可以來(lái)MQC上查看測(cè)試報(bào)告。

一、自動(dòng)化測(cè)試服務(wù)
Android兼容性測(cè)試
Android兼容性測(cè)試旨在幫助解決Android應(yīng)用在不同真機(jī)機(jī)型上的各類兼容性問(wèn)題，包括 Crash/ANR分析、6項(xiàng)性能分析、UI檢測(cè)、3個(gè)版本的覆蓋安裝檢測(cè)等。Android兼容性測(cè)試使用非常簡(jiǎn)單，客戶只需要提交被檢測(cè)的APK文件（如需登錄再提供測(cè)試賬號(hào)/密碼），最快經(jīng)過(guò)10分鐘全面測(cè)試（其他平臺(tái)在1-3分鐘測(cè)試時(shí)長(zhǎng)）之后，將收到測(cè)試完成通知，就可以來(lái)MQC上查看測(cè)試報(bào)告。測(cè)試報(bào)告非常豐富和全面，包括“測(cè)試概況”、“終端詳情”、“錯(cuò)誤日志”、“全部截圖”、“性能報(bào)告”。

通過(guò)機(jī)器學(xué)習(xí)的方式對(duì)以往大量的應(yīng)用進(jìn)行測(cè)試總結(jié)，通過(guò)深度機(jī)器學(xué)習(xí)，對(duì)測(cè)試Robot進(jìn)行智能化訓(xùn)練，能夠更加高效準(zhǔn)確的檢測(cè)到應(yīng)用更多問(wèn)題。換句話說(shuō)就是，讓測(cè)試更有針對(duì)性。同時(shí)，MQC的測(cè)試Robot具備非常多的復(fù)雜手勢(shì)操作能力，比如多點(diǎn)滑動(dòng)、縮放、雙擊、多擊、多點(diǎn)觸摸等等，能夠模擬出真實(shí)用戶的使用效果，讓測(cè)試“實(shí)戰(zhàn)化”。

得益于MQC強(qiáng)大的測(cè)試技術(shù)，兼容性測(cè)試的Crash/ANR檢出率遠(yuǎn)遠(yuǎn)高于業(yè)界水平。同時(shí)，在性能測(cè)試方面，MQC即提供了6項(xiàng)性能指標(biāo)曲線、性能分析，更提供了強(qiáng)大的內(nèi)存泄漏和內(nèi)存溢出的檢測(cè)和分析能力。

圖2.1.1-1終端詳情

圖2.1.1-2性能曲線

圖2.1.1-3錯(cuò)誤日志

圖2.1.1-4全部截圖

Android功能測(cè)試
Android功能測(cè)試與Android兼容性測(cè)試不同，主要目標(biāo)是檢測(cè)移動(dòng)應(yīng)用的功能正確性。通過(guò)功能測(cè)試，開(kāi)發(fā)者可以積累自己的功能測(cè)試用例，方便之后的回歸測(cè)試。并且，為了降低客戶編寫(xiě)功能腳本的難度，我們一方面提供了全面細(xì)致的Robotium幫助文檔和Appium幫助文檔；同時(shí)也提供了在線錄制回放工具，讓客戶無(wú)須編寫(xiě)腳本即可得到穩(wěn)定的高質(zhì)量腳本，極大降低功能測(cè)試成本。

目前功能測(cè)試支持Robotium框架和Appium框架（國(guó)內(nèi)只有MQC提供Appium支持），能夠滿足所有客戶的功能腳本編寫(xiě)需求。同時(shí)，功能測(cè)試支持三類不同的網(wǎng)絡(luò)選項(xiàng)：WIFI、3G、2G，客戶可以在不同的網(wǎng)絡(luò)場(chǎng)景下進(jìn)行功能驗(yàn)證，保證應(yīng)用“全天候”功能正確性。此外，功能測(cè)試還支持不同的截圖方式：視頻（錄制整個(gè)功能腳本運(yùn)行過(guò)程）、自動(dòng)截圖（按照Activity進(jìn)行自動(dòng)截圖）、自定義截圖（腳本發(fā)送指令，自定義截圖）。為了滿足部分應(yīng)用賬號(hào)互踢的場(chǎng)景，我們支持了“賬號(hào)池”功能，客戶可以提交多個(gè)賬號(hào)并行測(cè)試，不用擔(dān)心賬號(hào)被互踢。

功能測(cè)試報(bào)告包含：“用例結(jié)果聚合分析”、“Crash/ANR錯(cuò)誤分析”、“UI截圖”、“終端詳情”、“測(cè)試過(guò)程視頻”、“錯(cuò)誤日志分析”、“性能分析”、“內(nèi)存泄漏檢測(cè)”、“內(nèi)存溢出分析”等。您可以通過(guò)測(cè)試報(bào)告，快速的分析出應(yīng)用的功能問(wèn)題、Crash/ANR錯(cuò)誤，并且根據(jù)用例的通過(guò)率將錯(cuò)誤嚴(yán)重程度分級(jí)，優(yōu)先解決通過(guò)率低功能問(wèn)題和Crash/ANR錯(cuò)誤。

圖2.1.2 -1 功能測(cè)試提交任務(wù)頁(yè)

圖2.1.2 -2 功能測(cè)試報(bào)告視頻

圖2.1.2 -3 功能測(cè)試報(bào)告測(cè)試概況

圖2.1.2 -4 功能測(cè)試報(bào)告終端詳情

圖2.1.2 -1 功能測(cè)試報(bào)告性能報(bào)告

Android深度性能測(cè)試
深度性能測(cè)試提供更細(xì)致可靠的性能檢測(cè)服務(wù)，覆蓋“內(nèi)存泄漏檢測(cè)”、“內(nèi)存溢出分析/定位”、“內(nèi)存抖動(dòng)檢測(cè)”、“卡頓檢測(cè)”、“啟動(dòng)性能分析”、“主線程IO”、“過(guò)渡繪制檢測(cè)”共7項(xiàng)深度性能檢測(cè)項(xiàng)。

深度性能檢測(cè)對(duì)每一項(xiàng)問(wèn)題出現(xiàn)的原因都會(huì)進(jìn)行分析，可以直接定位到代碼行，并且能夠跟測(cè)試過(guò)程視頻進(jìn)行關(guān)鍵點(diǎn)聯(lián)動(dòng)。真正能夠幫助用戶“發(fā)現(xiàn)問(wèn)題”->“分析問(wèn)題”-> “定位問(wèn)題” -> “解決問(wèn)題”。

圖2.1.3 -1 深度性能測(cè)試測(cè)試 界面卡頓

圖2.1.3 -2 深度性能測(cè)試測(cè)試 過(guò)渡繪制

圖2.1.3 -3 深度性能測(cè)試測(cè)試 主線程IO/對(duì)象泄漏

圖2.1.3 -4 深度性能測(cè)試測(cè)試 主存抖動(dòng)

Android遠(yuǎn)程真機(jī)租用
遠(yuǎn)程真機(jī)租用可以幫助客戶在MQC提供的遠(yuǎn)程真機(jī)上，進(jìn)行應(yīng)用開(kāi)發(fā)、Bug復(fù)現(xiàn)、雙機(jī)調(diào)試等。例如，Android兼容性測(cè)試、功能測(cè)試，或者是用戶反饋來(lái)的問(wèn)題，但是本地沒(méi)有此類機(jī)型無(wú)法復(fù)現(xiàn)出問(wèn)題場(chǎng)景，那么就可以來(lái)MQC進(jìn)行遠(yuǎn)程真機(jī)租用，通過(guò)網(wǎng)頁(yè)調(diào)試MQC機(jī)房里的真機(jī)。

遠(yuǎn)程真機(jī)租用增加了很多創(chuàng)新性功能：雙機(jī)租用、遠(yuǎn)程調(diào)試。
雙機(jī)租用可以讓客戶一次選擇兩臺(tái)真機(jī)進(jìn)行在線租用，可以驗(yàn)證類似釘釘這種需要兩臺(tái)設(shè)備來(lái)接受/發(fā)送的功能；雙機(jī)租用還可以支持“同步操作”，可以操作一臺(tái)設(shè)備，另外一臺(tái)設(shè)別一起聯(lián)動(dòng)，一次驗(yàn)證兩臺(tái)手機(jī)，讓功能驗(yàn)證更加方便、快速。

遠(yuǎn)程調(diào)試是在真機(jī)租用基礎(chǔ)之上，對(duì)客戶非常實(shí)用的技術(shù)創(chuàng)新。通過(guò)下載并執(zhí)行遠(yuǎn)程調(diào)試Jar包，您可以把MQC機(jī)房里的遠(yuǎn)程真機(jī)映射到本地機(jī)器上。您可以通過(guò)adb命令對(duì)遠(yuǎn)程設(shè)備進(jìn)行操作，同時(shí)還可以通過(guò)Eclipse/Android Studio等開(kāi)發(fā)工具進(jìn)行斷點(diǎn)調(diào)試。

圖2.1.5 -1 遠(yuǎn)程真機(jī)租用 雙機(jī)租用

圖2.1.5 -2 遠(yuǎn)程真機(jī)租用 真機(jī)調(diào)試

Android在線腳本錄制
在線腳本錄制幫客戶解決了編寫(xiě)腳本、維護(hù)腳本的難題，您可以在短時(shí)間內(nèi)，迅速的錄制生成高質(zhì)量的腳本。與此同時(shí)，你無(wú)需關(guān)心設(shè)備問(wèn)題，由MQC提供真機(jī)設(shè)備；您也無(wú)需擔(dān)心腳本的在不同系統(tǒng)版本上的腳本健壯性問(wèn)題，由MQC幫您自動(dòng)生成高質(zhì)量腳本。

在錄制完成腳本之后，你可以在構(gòu)建腳本并執(zhí)行回放，通過(guò)回放后，您可以將腳本提交至MQC線上腳本管理中心，并且可以在功能測(cè)試中直接使用該腳本進(jìn)行功能回歸驗(yàn)證。

圖2.1.6 -1 在線腳本錄制 錄制腳本

圖2.1.6 -2 在線腳本錄制 回放腳本

iOS兼容性測(cè)試
iOS兼容性測(cè)試可以將被測(cè)應(yīng)用在不同系統(tǒng)版本，不同iOS機(jī)型上進(jìn)行兼容性檢測(cè)，主要以發(fā)現(xiàn)Crash為目的。iOS兼容性測(cè)試的Crash檢測(cè)率也遠(yuǎn)遠(yuǎn)高于業(yè)界水平（其他平臺(tái)的檢測(cè)結(jié)果就是告訴你沒(méi)問(wèn)題）。
同時(shí)兼容性測(cè)試的整個(gè)過(guò)程都被記錄成視頻，方便您回溯出現(xiàn)的Crash問(wèn)題。我們也提供了Crash錯(cuò)誤的調(diào)用棧信息，讓您輕松的進(jìn)行問(wèn)題Debug。

圖2.2.1 -1 iOS兼容性測(cè)試 測(cè)試概況

圖2.2.1 -2 iOS兼容性測(cè)試 終點(diǎn)詳情

圖2.2.1 -3 iOS兼容性測(cè)試 錯(cuò)誤日志

iOS功能測(cè)試
iOS功能測(cè)試和Android功能測(cè)試類似，是以驗(yàn)證應(yīng)用的功能正確性為目的。現(xiàn)在iOS功能測(cè)試支持原生的UIAutomation腳本。為了方便客戶編寫(xiě)腳本，我們也配備了腳本編寫(xiě)文檔，幫助iOS測(cè)試同學(xué)提高測(cè)試技能。

iOS功能測(cè)試只需提交被測(cè)應(yīng)用和JS腳本文件即可，我們會(huì)在不同的機(jī)型和系統(tǒng)版本的設(shè)備上運(yùn)行功能腳本，驗(yàn)證不同機(jī)型上的功能正確性。測(cè)試完成之后，會(huì)提供一份詳細(xì)的用例分析報(bào)告，您可以查看各個(gè)case整體的通過(guò)率，以及失敗case出錯(cuò)的日志，從而方便您快速的定位到問(wèn)題原因。

圖2.2.2 -1 iOS功能測(cè)試 測(cè)試概況

圖2.2.2 -2 iOS功能測(cè)試 終端詳情

圖2.2.2 -3 iOS功能測(cè)試 查看視頻

iOS在線腳本錄制
與Android在線錄制功能一樣，提供對(duì)iOS機(jī)型的腳本在線錄制功能，通過(guò)Web端的方式錄制Appium的Python語(yǔ)言腳本。MQC針對(duì)iOS不同機(jī)型的腳本適配提供了“唯一控件判斷”的能力，不同iOS系統(tǒng)版本盡管控件樹(shù)各不相同，但是依然可以一套腳本跑所有機(jī)型，極大的減小了開(kāi)發(fā)工作量。

iOS在線錄制的響應(yīng)速度在業(yè)界也是非常領(lǐng)先的，我們可以做到百毫秒內(nèi)的響應(yīng)延遲，相比其他方案要提升數(shù)十倍的效果。

H5性能測(cè)試
H5測(cè)試提供了全面的H5測(cè)試能力，包括：瀏覽器兼容性、二級(jí)頁(yè)面遍歷、不同容器支持、弱網(wǎng)絡(luò)支持。測(cè)試結(jié)果包含了13項(xiàng)性能指標(biāo)：首資源時(shí)間、首次渲染時(shí)間、首屏?xí)r間、資源加載時(shí)間、HTTP請(qǐng)求數(shù)、網(wǎng)頁(yè)大小、DOM節(jié)點(diǎn)數(shù)、重定向次數(shù)、域名數(shù)、失敗資源數(shù)、CPU占用、內(nèi)存占用、FPS。

為了幫助客戶快速提升H5應(yīng)用性能，我們還提供了多達(dá)33項(xiàng)的性能優(yōu)化建議，讓您知道頁(yè)面哪里做的不好、哪個(gè)代碼有問(wèn)題，該怎么去解決？通過(guò)優(yōu)化建議，您可以有針對(duì)性的提升網(wǎng)頁(yè)性能。

另外，為了讓大家更清楚的回溯頁(yè)面加載過(guò)程，我們將不同瀏覽器打開(kāi)頁(yè)面的過(guò)程錄制成了視頻。您可以輕松查看加載過(guò)程中的每一幀細(xì)節(jié)。同時(shí)，我們繼續(xù)保留了二級(jí)頁(yè)面遍歷，以及頁(yè)面資源加載瀑布流的功能，保障所有加載細(xì)節(jié)，一覽無(wú)余。

圖2.4.1 -1 H5測(cè)試 加載瀑布流

圖2.4.1 -2 H5測(cè)試 加載視頻

圖2.4.1 -3 H5測(cè)試 性能指標(biāo)+修復(fù)建議
點(diǎn)此查看原文