Nginx 中 map 模塊的使用及性能測試

zhonghanwen 發(fā)布于2019-07-25 10:36 / 1313人閱讀

摘要：每個請求來的時候都會先去看看中有沒有，即使使用的是的方式也不免會讓我對它的性能產(chǎn)生一些擔(dān)憂，所以性能測試就必須要來一發(fā)了。注也在阿里云執(zhí)行只要是為了在一個數(shù)據(jù)中心降低網(wǎng)絡(luò)延遲。測試因為考慮到服務(wù)器比較穩(wěn)定，減少壓測總數(shù)。

背景

最近我操刀了leetcode的論壇遷移，整個過程持續(xù)了幾周的時間，總算暫時告了一個段落。常使用leetcode論壇的用戶應(yīng)該已經(jīng)發(fā)現(xiàn)論壇已經(jīng)大變樣了吧~

期間遇到了不少坑坑洼洼，將來也還會有好多問題等待去一一解決。關(guān)于這個遷移過程中的收貨，這篇文章中就不細(xì)說了，有時間再另開一篇博文。這篇文章主要關(guān)注在url-mapping以及它的性能問題。

問：url-mapping的問題從何而來呢？

舊的論壇和新的論壇是兩個不同的discuss框架。前者是phpbb，現(xiàn)在是nodebb。兩者的 url routing 完全不一樣，比如說同一個topic，在原來的url是 http://hostname/discuss//，在新的論壇中是 http://hostname/topic//（這里就不討論兩者甚至連topic_id都不一樣的問題了）。

而在廣袤的互聯(lián)網(wǎng)海洋中，舊論壇的url可能到處都存在。我們不希望在論壇遷移后，用戶點那些鏈接就失效了。我們希望的是用戶訪問舊的url可以被重定向到新論壇的某個地址。所以就產(chǎn)生了url-mapping的問題。

方法 生成url-mapping

感謝nodebb-plugin-import提供了數(shù)據(jù)遷移以后自動生成url-mapping的方式，省了我自己寫腳本生成這些mapping的時間。每一條mapping大致是這樣的：

~^/discuss/questions/oj/add-two-numbers(?[^/]*)*/?$  /category/10/add-two-numbers;

其中的slug和id的mapping是由插件生成的。regular expression是為了匹配url中如果有param添加的。

Nginx Map

官方文檔的demo可能對于剛想上手的同學(xué)來說不是那么友好，還是直接看現(xiàn)成的配置學(xué)得快：

http {
  ...

  map_hash_max_size 204800;
  map_hash_bucket_size 204800;
  map $request_uri $new {
     include /path/of/your/map/file;
  }

  include /etc/nginx/conf.d/*.conf;
  include /etc/nginx/sites-enabled/*;

  ...
}

server {
  ...

  if ($new) {
    rewrite ^ https://discuss.leetcode.com$new redirect;
  }

  location / {
    ...
  }
  ...
}

在server規(guī)則匹配中，$new值不為空，說明當(dāng)前要訪問的url已經(jīng)在http模塊的mapping文件中匹配到了，這個時候就不走各種location模塊了，直接rewrite成新的地址。注:這里要是做成proxy_pass也行，后面的測試中就采用了proxy_pass。但線上的環(huán)境，擔(dān)心nginx的壓力太大了，就采用了rewrite方式給它減減壓。

測試

考慮到mapping的條目有點多，幾萬量級，又都是正則匹配。每個請求來的時候都會先去看看mapping中有沒有，即使mapping使用的是hash的方式也不免會讓我對它的性能產(chǎn)生一些擔(dān)憂，所以性能測試就必須要來一發(fā)了。

測試方案：

在新機(jī)器上跑helloworld

自動生成隨機(jī)100個url-mapping，都重定向到helloworld

使用abtest分別對helloworld和隨機(jī)url作壓測

增大url-mapping的條目，重復(fù)1,2

壓測機(jī)器

臨時租了兩臺阿里云服務(wù)器(因為是臨時的，所以我也就不在意在后文暴露ip了)，配置都是：1核，2048M內(nèi)存，40G硬盤。一臺用作nginx和helloworld程序，一臺專門做abtest。

注：abtest也在阿里云執(zhí)行只要是為了在一個數(shù)據(jù)中心降低網(wǎng)絡(luò)延遲。最后發(fā)現(xiàn)效果真不錯，rps從100多直接飆升到2700多。

helloworld

采用了nodejs的helloworld：

var http = require("http");
var i = 0;
http.createServer(function (req, res) {
  console.log(i++);
  res.writeHead(200, {"Content-Type": "text/plain"});
  res.end("Hello World
");
}).listen(1337, "0.0.0.0");
console.log("Server running at http://0.0.0.0:1337/");

url-mapping

生成urlmapping寫了一個python腳本：

import hashlib

m2 = hashlib.md5()
current = "hello world"
f = open("./url.map", "w")

for i in range(100):
    m2.update(current)
    current = m2.hexdigest()
    f.write("~^/hello/world/" + current + "(?[^/]*)*/?$	/;
")

f.close()

nginx配置：

server {
  listen 80;
  server_name 120.26.138.197;

  location ^~ /{
    if ($new) {
      proxy_pass http://120.26.138.197:1337$new;
      break;
    }

    return 404;
  }
}

abtest

rps測試(request per second)：并發(fā)壓測使用100000次請求，并發(fā)100個用戶的方式。

# 不走nginx
ab -n100000 -c100 120.26.138.197:1337/
# 走nginx
ab -n100000 -c100 120.26.138.197/hello/world/5eb63bbbe01eeed093cb22bb8f5acdc3/

mapping條目	直接訪問(rps)	map第一條url(rps)	map最后一條url(rps)	不存在的url(rps)
100	2829.44	1819.63	1765.25	9740.53
1000	-	1816.00	1509.52	4094.68
10000	-	1813.22	514.24	658.32
100000	-	1836.02	62.40	65.80

跟預(yù)想的一樣，mapping的條目確實會對請求效率產(chǎn)生影響。而且?guī)兹f條的映射在較高并發(fā)的情況下已經(jīng)到了勉強(qiáng)能用的臨界了。還好以后mapping的條目不會再增加了，并且論壇的并發(fā)很難到100的量級。

tpr測試(time per request)：因為考慮到服務(wù)器比較穩(wěn)定，減少壓測總數(shù)。同時把并發(fā)用戶減為1個。

# 不走nginx
ab -n1000 -c1 120.26.138.197:1337/
# 走nginx
ab -n1000 -c1 120.26.138.197/hello/world/5eb63bbbe01eeed093cb22bb8f5acdc3/

mapping條目	直接訪問(ms)	map第一條url(ms)	map最后一條url(ms)	不存在的url(ms)
100	0.690	0.922	0.933	0.507
1000	-	0.925	1.043	0.648
10000	-	0.921	2.340	1.915
100000	-	0.926	16.321	15.469

在并發(fā)不是很高的時候mapping的條目可以更多。100000個條目大概只會影響整個請求15ms左右，可以忽略不計。如果說150ms的延遲是可以接受的，那么在一個并發(fā)不是很高的情況下，mapping最多可以有100w條，還是很多的。

測試中的不足

壓測的url請求并不隨機(jī)

所有的url都被重定向到一個地方。不過從結(jié)果來看，nginx確實是根據(jù)條目一個個請求的。這點倒沒有什么影響

沒有測試http://hostname/path?param=xxx這樣類型的url

GPU云服務(wù)器云服務(wù)器 nginx性能測試單獨使用webrtc中視頻模塊 map集合的使用 linux的安裝及使用

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://specialneedsforspecialkids.com/yun/38057.html

發(fā)表評論

登陸后可評論

0條評論

zhonghanwen

男|高級講師

我要關(guān)注我要私信

TA的文章

#黑五#DediPath：美國10個機(jī)房VPS全部3.5折，低至$27.3/年，1C/1G/10G

閱讀 1062·2021-11-24 10:27
＜LeetCode天梯＞Day027 合并兩個有序鏈表（遞歸法+改進(jìn)遞歸） | 初級算法 | Pyt

閱讀 3337·2021-11-18 10:02
C語言初階學(xué)習(xí)——掃雷小游戲（遞歸）

閱讀 2396·2021-11-16 11:45
商標(biāo)到期

閱讀 3161·2021-11-15 18:10
云主機(jī)是干什么的-什么是云主機(jī)？是做什么用的，能簡單的說明白嗎？

閱讀 821·2021-09-22 15:23
雪碧圖的生成

閱讀 1529·2019-08-30 15:53
vue2.0子組件修改父組件數(shù)據(jù)

閱讀 3021·2019-08-30 13:20
你們對于vw一無所知

閱讀 1666·2019-08-30 12:53

国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺、長期優(yōu)惠，快來選購！

Nginx 中 map 模塊的使用及性能測試

相關(guān)文章