性能優(yōu)化

gggggggbong 發(fā)布于2019-07-01 11:14 / 2396人閱讀

摘要：如果有人負責(zé)把控從相對長遠些的角度設(shè)計系統(tǒng)的迭代，這種情況本是可以避免的優(yōu)化辦法只有一個就是保留主鏈路，旁支鏈路異步化。這會導(dǎo)致一次被動讀磁盤，性能損耗會很大。

在并發(fā)量一定的情況下如何對系統(tǒng)響應(yīng)時間進行詳細分析

分析步驟
1.1 在關(guān)鍵點位添加日志信息 -> 縮小目標范圍

a) 主要函數(shù)耗時

b) 訪問外部系統(tǒng)耗時：DB、MQ、Cache、FileSystem、RPC、HTTP等

c) 接口內(nèi)不同邏輯耗時百分比/絕對值

1.2 詳細分析瓶頸出現(xiàn)原因

a) 技術(shù)層面：優(yōu)先考慮

b) 業(yè)務(wù)邏輯：業(yè)務(wù)邏輯改造一般影響較大、耗時較長，優(yōu)先級低

1.3 針對性解決問題

一旦定位了問題原因，解決問題的方法都相當(dāng)容易

技術(shù)層面
2.1 代碼實現(xiàn)

a) 串行邏輯是否可以并行化

b) 串行請求是否可以批量(batch)請求

c) SQL是否需要優(yōu)化

d) 算法復(fù)雜度是否需要優(yōu)化

e) 語言核心庫是否提供了性能更高的使用方式

f) 引用的第三方庫是否存在性能問題

g) 每次外部請求是否都重新建立連接

2.2 內(nèi)核/硬件層面

a) CPU使用率

b) 內(nèi)存使用率

c) 磁盤IO狀況

d) 網(wǎng)絡(luò)狀況

d) 瓶頸是否由調(diào)用的內(nèi)核函數(shù)引起？

該函數(shù)是如何工作的；新版本內(nèi)核是否已經(jīng)對此優(yōu)化；如何調(diào)整使用方式可以更高效

2.3 日志

線程會爭奪日志鎖，在高并發(fā)情況下，同步寫日志很影響性能。異步寫又可能引起OOM。

業(yè)務(wù)邏輯
隨著業(yè)務(wù)的增長，接口負擔(dān)的功能原來越復(fù)雜，邏輯鏈路越來越長，事務(wù)越來越大，性能越來越差，越來越?jīng)]辦法維護。（如果有人負責(zé)把控、從相對長遠些的角度設(shè)計系統(tǒng)的迭代，這種情況本是可以避免的）

優(yōu)化辦法只有一個就是：保留主鏈路，旁支鏈路異步化。

常用工具
4.1 內(nèi)核

a) CPU: top、vmstat htop w uptime dstat

b) MEM: top、free

c) disk IO: iostat

例: iostat -kx 1 //每秒統(tǒng)計一次io

iotop -o //查看磁盤使用率較高的進程

d) 網(wǎng)絡(luò)

流量：sar -n DEV 1 3 //每秒統(tǒng)計一次所有網(wǎng)卡流量，共3次

網(wǎng)絡(luò)抓包: tmpdump，可配合tmptrace、wireshark分析

TCP連接狀況：netstat -an | grep TIME_WAIT //client端近期關(guān)閉tcp連接數(shù)量

e) 查看/proc/xxx中的系統(tǒng)詳細信息

小知識
a) 網(wǎng)絡(luò)抖動引起tcp重傳，一般內(nèi)部系統(tǒng)之間的調(diào)用，linux設(shè)置的重傳時間間隔為至少200ms以上。

b) 服務(wù)之間通過網(wǎng)絡(luò)調(diào)用，網(wǎng)絡(luò)開銷在500us ~ 2ms

c) 機械磁盤尋址: 20ms

d) 磁盤的某page中如果存在數(shù)據(jù)，程序?qū)懘藀age時如果不會填充整個page，內(nèi)核會先載入整個page，再輸出整個page，保證磁盤數(shù)據(jù)不丟。這會導(dǎo)致一次被動讀磁盤，性能損耗會很大。否則會直接寫入磁盤高速緩存，間隔固定時間刷盤一次(5s)。

e) 日志使用seaslog buffer

隨著系統(tǒng)并發(fā)量的增加，系統(tǒng)響應(yīng)時間會逐步下降甚至雪崩，一般是由多線程之間、模塊之間、子系統(tǒng)之間爭奪資源（鎖）引起的。