線上 python http server profile 實踐

stackfing 發布于2019-07-30 14:31 / 1223人閱讀

摘要：背景容器數量過高，可能的原因有請求的不合理調用，本身的性能問題等，目前的問題難以定位，所以準備出一個的分析資源消耗。需求可視化的形式查看整體的響應時間占比，定位大頭優先消除。所以找面積最大的追蹤查看即可。

背景：

qa 容器數量過高，可能的原因有 api 請求的不合理調用，api 本身的性能問題等，目前的問題難以定位，所以準備出一個 qa 的 profile 分析資源消耗。

需求

可視化的形式查看整體 http server 的響應時間占比，定位大頭優先消除。

工具

python 系的 profile 工具整體上是在太少，cprofile 用起來有些蛋疼，找了半天決定用 nylas 之前的一個 demo。

這個工具需要 server 端是 gevent，號稱不用 gevent 也能用，不過需要改代碼。

profile 工具，此工具采用unix singal 的方式定時采集 frame python 的棧信息，需要 hack 到生成代碼，并且需要啟動一個采集進程，由于 github 給出的應該是個 demo，可視化的 server 目前長時間采集會有問題（采集一段時間后數據過大，頁面卡頓，但是原服務的響應似乎不受影響）

另外，原項目中的代碼需要 python 編譯時做一些事情，我 fork 了一份做了一點修改。具體操作見 README

https://github.com/duoduo369/...

用法

我決定還是從 README 貼過來

test.sh 腳本的內容就是一波 curl 請求，每秒執行一次，跑個一小時好了，再大 demo 的 http 可視化工具可能卡。

git clone 這個項目
cd 到項目目錄
pip install -e .

將 stacksampler.py 復制到項目目錄，在按照 readme
中代碼修改的方式修改對應代碼

項目啟動后執行
python -m stackcollector.collector --host localhost --ports 16384 --interval 60
寫一個批量請求腳本 test.sh
每秒執行
watch -n1 test.sh

可視化工具
python -m stackcollector.visualizer --port 5555
如果項目所在機器無法通過5555端口訪問，將 /var/lib/stackcollector
下的所有文件復制到可以訪問機器訪問

分析

就拿 demo 中的這張圖來看，需要橫著看+豎著看，每一行相加，每一塊兒（假設為 A）垂直上面一格所有小塊相加等于這一塊（A）。所以找面積最大的追蹤查看即可。

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/40751.html

PHP性能被動分析工具之xhgui加tideways的安裝實踐

摘要：性能被動分析工具之加的安裝實踐前言最近一直想做個接口性能分析，但是手打實在能把人給累死。怎么辦呢想到之前有寫過一篇我所知道的相關調優匯總，里面有一個的調優方式。但是使用它酷炫的需要付費，擴展則不需要。 PHP性能被動分析工具之xhgui加tideways的安裝實踐 By:0x584A Date:2016-11-23 17:55:42 前言最近一直想做個接口性能分析，但是手打log實在...

Chiclaim 2019-06-27 14:52 評論0 收藏0
前端開發如何做好本地接口模擬

摘要：前端開發如何做好本地接口模擬之前有寫過一篇本地化接口模擬前后端并行開發，講到過本地接口模擬，但不太細致。有哪些途徑本地接口模擬一般分為工具層面和代碼層面。因為本地接口模擬功能主要是針對的返回值為格式的異步請求，所以這種方式主要用文件。前端開發如何做好本地接口模擬之前有寫過一篇本地化接口模擬、前后端并行開發，講到過本地接口模擬，但不太細致。這次細細的說說本地接口模擬。 1. 有什么...

ACb0y 2019-08-23 14:31 評論0 收藏0
Spring Boot 配置文件中的花樣，看這一篇足矣！

摘要：的默認配置文件位置為。比如，我們需要自定義模塊的服務端口號，可以在中添加來指定服務端口為，也可以通過來指定應用名該名字在應用中會被注冊為服務名。同時，配置內容都對開發人員可見，本身這也是一種安全隱患。在快速入門一節中，我們輕松的實現了一個簡單的RESTful API應用，體驗了一下Spring Boot給我們帶來的諸多優點，我們用非常少的代碼量就成功的實現了一個Web應用，這是傳統的...

pingan8787 2019-08-19 11:43 評論0 收藏0
淺述APM采樣與端到端

摘要：主題大綱淺述采樣與端到端何為何為端到端何為采樣的做法與弊端嘉賓介紹高馳濤，官方開發組成員，作者，云智慧高級架構師。極牛技術實踐分享活動極牛技術實踐分享系列活動是極牛聯合頂級VC、技術專家，為企業、技術人提供的一種系統的線上技術分享活動。每期不同的技術主題，和行業專家深度探討，專注解決技術實踐難點，推動技術創新，每兩周的周三20點正式開課。歡迎各個機構、企業、行業專家、技術人...

seasonley 2019-08-14 15:04 評論0 收藏0
[ 好文分享 ] 美團酒店Node全棧開發實踐

摘要：我所在的美團酒店事業部去年月份成立，新的業務新的開發團隊，這一切使得我們的前后端分離推進的很徹底。日志監控平臺日志監控平臺是美團內部的一個日志收集系統，目前美團統一使用收集日志，具有接收格式日志的能力，而日志監控平臺也是以格式日志來收集。轉自：美團技術團隊作者：美團技術團隊分享理由：很好的分享，可見，基于Node的前后端分離的架構是越顯流行和重要，前端攻城獅們，No...

wangdai 2019-08-21 10:34 評論0 收藏0