Python的SQL性能測試

Simon 發(fā)布于2019-07-30 17:41 / 1570人閱讀

摘要：前言測試異步與同步下對于數(shù)據(jù)庫操作的性能通過測試同步以及異步下對于數(shù)據(jù)庫的增加和查找操作，以進行性能評估。所以異步架構(gòu)在用于單純的數(shù)據(jù)庫操作時，并不能取得非常良好的性能優(yōu)化，數(shù)據(jù)庫操作本身的優(yōu)化還是依賴于操作本身以及數(shù)據(jù)庫結(jié)構(gòu)的優(yōu)化。

前言

測試異步與同步下Python對于PostgreSQL數(shù)據(jù)庫操作的性能

通過測試同步以及異步下對于數(shù)據(jù)庫的增加和查找操作，以進行性能評估。更直觀的以及量化地感受同步以及異步下的性能差距。

環(huán)境初始化

代碼地址

需要安裝pipenv，詳細內(nèi)容可參考

pip3.6 install pipenv
git clone https://github.com/GuangTianLi/python-sql-performance.git
cd python-sql-performance
pipenv sync
pipenv shell

SQL操作性能評估

python postgresql_speed_test.py

  DBAPI:  psycopg2
         11004 function calls in 2.235 seconds
  DBAPI:  asyncpg
         471973 function calls in 2.436 seconds
  DBAPI:  uvloop
         206945 function calls in 0.794 seconds
  DBAPI:  psycopg2, total seconds 2.558364
  DBAPI:  asyncpg, total seconds 2.309759
  DBAPI:  uvloop, total seconds 2.032303

結(jié)論

從結(jié)果上看，對于數(shù)據(jù)庫操作本身，異步對于其性能本身只能算是錦上添花。而異步操作本身則也需要添加對事件循環(huán)的處理，等于是變相的增加了運行時間，而如果每個數(shù)據(jù)庫操作本身所需要的時間小于事件循環(huán)處理的時間，則其總時間就是增加的。

所以異步架構(gòu)在用于單純的數(shù)據(jù)庫操作時，并不能取得非常良好的性能優(yōu)化，數(shù)據(jù)庫操作本身的優(yōu)化還是依賴于操作本身以及數(shù)據(jù)庫結(jié)構(gòu)的優(yōu)化。

WebServer性能評估 flask

python flask_server_speed_test.py

wrk -d 60 -c 100 -t 12 --timeout 8 http://127.0.0.1:8080/db
Running 1m test @ http://127.0.0.1:8080/db
  12 threads and 100 connections
  Thread Stats   Avg      Stdev     Max   +/- Stdev
    Latency   331.47ms  221.85ms   2.01s    89.71%
    Req/Sec    30.95     17.90    80.00     63.85%
  18597 requests in 1.00m, 3.10MB read
Requests/sec:    309.41
Transfer/sec:     52.88KB

sanic

python sanic_server_speed_test.py

wrk -d 60 -c 100 -t 12 --timeout 8 http://127.0.0.1:8080/db
Running 1m test @ http://127.0.0.1:8080/db
  12 threads and 100 connections
  Thread Stats   Avg      Stdev     Max   +/- Stdev
    Latency   162.95ms   99.56ms   1.89s    87.88%
    Req/Sec    52.26     23.73   148.00     61.57%
  36702 requests in 1.00m, 4.83MB read
Requests/sec:    610.64
Transfer/sec:     82.29KB

結(jié)論

從中等量級的壓測的結(jié)果上看，對于異步架構(gòu)的網(wǎng)絡(luò)服務(wù)器，在性能上有了很大的提升。