Nginx 代理 varnish 的姿勢

Dongjie_Liu 發布于2019-08-06 13:18 / 3354人閱讀

摘要：以前做網站的時候遇到了網站的訪問量很大，而導致后端處理程序響應超時而導致的一些問題。下面我想介紹一下的使用技巧準備嚴格來說是可以當作一個代理服務器的軟件，直接將請求轉發到然后交給處理會獲取經過處理后的數據最后返回給瀏覽器。

以前做網站的時候遇到了網站的訪問量很大，而導致后端處理程序響應超時而導致的一些問題。當時采用的架構是nginx+php-fastcgi，同事想到了用nginx-proxycache來做頁面緩存，效果也還行。下面我想介紹一下varnish的使用技巧

準備

varnish嚴格來說是可以當作一個代理服務器的軟件，直接將HTTP請求轉發到php-cgi,然后交給php處理,varnish會獲取經過php處理后的數據,最后返回給瀏覽器。如圖

但是，現在php-fastcgi已經被逐漸淘汰了，也就是說我們一般情況下不會使用php-fastcgi，那么我們不能直接將varnish與php組合，因為php-fpm的交互方式為socket，而不再是監聽本機的9000端口
所以我們必須找一個的媒介,連接varnish和php-fpm,nginx可以扮演這個媒介,如下圖：

那么問題來了，根據研究發現，varnish處理http請求不如nginx那么高效。所以如果我們讓nginx做前鋒，這樣就更完美了。那我們需要怎么才能達到這個目的呢，下面我們來整理一下流程

下面就來實現一下圖三的架構吧。
事先需要準備nginx,varnish,php-fpm,php這些軟件，OS是ubuntu，所有軟件都可以用apt-get install來安裝，不了解包名全稱的話可以先apt-get update，更新一下源，然后再用apt-cache search xxx來查找軟件包名

安裝完varnish后，可以使用service varnish回車，查看可操作選項* Usage: /etc/init.d/varnish {start|stop|restart|reload|force-reload|configtest},一般安裝完畢后，系統會自動啟動varnish的,nginx也是一樣,便不贅述了

配置

安裝完所需的軟件后，下面需要配置這些軟件，來實現這個架構

nginx部分

vi /etc/nginx/nginx.conf

http {
    ## proxy global setting
    proxy_connect_timeout 5;
    proxy_read_timeout 60;
    proxy_send_timeout 5;
    proxy_buffer_size 16k;
    proxy_buffers 4 64k;
    proxy_busy_buffers_size 128k;
    ##END
    ## cache proxy pass
    upstream cache {
            server  127.0.0.1:6081;
    }
    ##END
    ## php proxy pass
    upstream php { 
            server  127.0.0.1:8080;
    }
    ##END
    # Basic Settings
    sendfile on;
    tcp_nopush on;
    tcp_nodelay on;
    keepalive_timeout 65;
    types_hash_max_size 2048;
    server_tokens off;
    #depend on nginx-extras 需要安裝nginx-extras才能定義Server
    more_set_headers "Server: Bird-shark";
    # server_names_hash_bucket_size 64;
    # server_name_in_redirect off;
    include /etc/nginx/mime.types;
    default_type application/octet-stream;
    ##
    # SSL Settings
    ##
    ssl_protocols TLSv1 TLSv1.1 TLSv1.2; # Dropping SSLv3, ref: POODLE
    ssl_prefer_server_ciphers on;
    ##
    # Logging Settings
    ##
    access_log /var/log/nginx/access.log;
    error_log /var/log/nginx/error.log;
    ##
    # Gzip Settings
    ##
    gzip on;
    gzip_disable "msie6";
    gzip_vary on;
    gzip_proxied any;
    gzip_comp_level 6;
    gzip_buffers 16 8k;
    gzip_http_version 1.1;
    gzip_types text/plain text/css application/json application/javascript text/xml application/xml application/xml+rss text/javascript;
    ##
    # Virtual Host Configs
    ##
    include /etc/nginx/conf.d/*.conf;
    include /etc/nginx/sites-enabled/*;  
}

vi /etc/nginx/sites-available/default

server {
    listen 80 default_server;
    listen [::]:80 default_server;
    index index.html index.htm index.php;
    server_name localhost;
    location ~ .*.(gif|jpg|png|css|js|flv|ico|swf|html)$ {
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_pass http://cache;
    }
    # pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000
    #
    location / {
        proxy_pass http://php;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_pass_header Server;
    }
}
server {
    listen 8080;
    root /var/www/html;
    index  index.html index.htm index.php;
    location / {
        if (!-e $request_filename){
            rewrite  ^(.*)$  /index.php?s=$1  last;
            break;
        }
        try_files $uri $uri/ =404;
    }
    location ~ ^(.+.php)(.*)$ {
        fastcgi_pass unix:/var/run/php5-fpm.sock;
        fastcgi_intercept_errors on;
        fastcgi_buffers 8 128k;
        fastcgi_index  index.php;
        fastcgi_param  SCRIPT_FILENAME $document_root$fastcgi_script_name;
        include        fastcgi_params;
    }
}

varnish部分

vi /etc/varnish/default.vcl

vcl 4.0;

# Default backend definition. Set this to point to your content server.
backend default {
    .host = "127.0.0.1";
    .port = "8080";
}
acl purgers {
    "localhost";
    #"103.22.188.169";
}
sub vcl_recv {
    # Happens before we check if we have this in cache already.
    #
    # Typically you clean up the request here, removing cookies you don"t need,
    # rewriting the request, etc.
    if (req.restarts == 0) {
        unset req.http.X-Purger;
    }
    if(req.method == "PURGE"){
        if(!client.ip ~ purgers){
            return(synth(405,"Not Allowed."));
        }
        return (purge);
        #ban("obj.http.x-url ~ " + req.url);
    }
    if(req.method == "GET" && req.url ~ ".(js|css|jpg|png|gif|swf|jpeg|ico)$"){
        unset req.http.cookie;
    }
}

sub vcl_backend_response {
    #set beresp.http.x-url = bereq.url;
    if (bereq.url ~ ".(js|css|jpg|png|gif|swf|jpeg|ico)$") {
        unset beresp.http.Cache-Control;
        unset beresp.http.set-cookie;
        set beresp.ttl = 10h;
        set beresp.http.Cache-Control = "max-age=36000";
        set beresp.do_gzip = true;
    }
    if(bereq.url ~ ".html$"){
        set beresp.ttl = 10m;
        set beresp.do_gzip = true;
        unset beresp.http.Cache-Control;
        unset beresp.http.Pragma;
        set beresp.http.Cache-Control = "max-age=600";
        unset beresp.http.Expires;
    }
}

sub vcl_deliver {
    if (obj.hits > 0) {
        set resp.http.X-Cache = "HIT from " + req.http.host;
        #set resp.http.X-Cache-Hits = obj.hits;
    } else {
        set resp.http.X-Cache = "MISS from " + req.http.host;
    }
    if (req.http.X-Purger) {
        set resp.http.X-Purger = req.http.X-Purger;
    }
    unset resp.http.X-Powered-By;
    unset resp.http.Server;
     
    unset resp.http.Via;
    unset resp.http.X-Varnish;
     
    unset resp.http.Age;
    #unset resp.http.x-url; # Optional
}
sub vcl_hit {
    if (req.method == "PURGE") {
        return (synth(200,"Purged."));
    }
}
sub vcl_miss {
    if (req.method == "PURGE") {
        return (synth(404,"Purged."));
    }
}
sub vcl_purge {
    if (req.method == "PURGE") {
        #set req.http.X-Purge = "Purged";
        ban("req.url ~ "+req.url);
        #return (restart);
        set req.method = "GET";
        set req.http.X-Purger = "Purged";
        return (restart);
    }
}
sub vcl_hash {
    hash_data(req.url);
    if (req.http.host) {
        hash_data(req.http.host);
    } else {
        hash_data(server.ip);
    }
    if (req.http.cookie) {
        hash_data(req.http.cookie);
    }
    if (req.http.Accept-Encoding ~ "gzip") {
        hash_data("gzip");
    } elseif (req.http.Accept-Encoding ~ "deflate") {
        hash_data("deflate");
    }
}

測試&分析 1. 在不使用緩存模塊的情況下

vi /etc/nginx/sites-available/default

#location ~ .*.(gif|jpg|png|css|js|flv|ico|swf|html)$ {
#    proxy_set_header Host $host;
#    proxy_set_header X-Real-IP $remote_addr;
#    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
#    proxy_pass http://cache;
#}

先用chrome瀏覽器訪問查看請求頭

我們再使用curl,在服務器上執行以下命令

 curl -k -v "http://192.168.99.1/Public/Home/images/t_navigation_logo.png" -H "Pragma: no-cache" -H "Accept-Encoding: gzip, deflate, sdch" -H "Accept-Language: zh,en;q=0.8,zh-CN;q=0.6" -H "Upgrade-Insecure-Requests: 1" -H "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36" -H "Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8" -H "Connection: keep-alive" --compressed

發現有輸出內容。
然后，反選disable cache

然后在服務器上執行以下命令

curl  -k -v "http://192.168.99.1/Public/Home/images/t_navigation_logo.png" -H "If-None-Match: "57c6b733-1962"" -H "Accept-Encoding: gzip, deflate, sdch" -H "Accept-Language: zh,en;q=0.8,zh-CN;q=0.6" -H "Upgrade-Insecure-Requests: 1" -H "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36" -H "Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8" -H "Connection: keep-alive" -H "If-Modified-Since: Wed, 31 Aug 2016 10:53:39 GMT" --compressed

發現只返回了頭部信息，然而沒有內容返回

然后我們比較兩個命令發現區別就在-H "Pragma: no-cache"和 -H "If-Modified-Since: Wed, 31 Aug 2016 10:53:39 GMT" -H "If-None-Match: "57c6b733-1962""

57c6b733-1962這串字符對應的是服務器響應給瀏覽器的ETag部分的內容，然后我們修改一下部分的內容

curl  -k -v "http://192.168.99.1/Public/Home/images/t_navigation_logo.png" -H "If-None-Match: "57c6b733-1234"" -H "Accept-Encoding: gzip, deflate, sdch" -H "Accept-Language: zh,en;q=0.8,zh-CN;q=0.6" -H "Upgrade-Insecure-Requests: 1" -H "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36" -H "Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8" -H "Connection: keep-alive" -H "If-Modified-Since: Wed, 31 Aug 2016 10:53:39 GMT" --compressed

在服務器端執行一下。發現有內容返回，所以這個ETag相當于token，它不是由nginx隨便生成的，且跟請求鏈接應是一一對應的，用來標識緩存的,當服務器返回的狀態為304的時候,這時候我們瀏覽器會直接找到本地的緩存數據

2. 在使用緩存模塊的情況下

vi /etc/nginx/sites-available/default

location ~ .*.(gif|jpg|png|css|js|flv|ico|swf|html)$ {
    proxy_set_header Host $host;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_pass http://cache;
}

用瀏覽器查看響應頭

發現X-Cache:MISS from 192.168.99.1.這表示緩存未命中，然后我們刷新X-Cache:HIT from 192.168.99.1，這時候發現已經命中了。

對于已經命中的資源文件，我們如果將其刪除會出現什么效果呢，答案是，其依然可以訪問，除非重啟或者將緩存清除
但是對PURGE顯然是不對外公開的,以下是服務器端用curl清除varnish緩存的命令

curl -v -k -X PURGE http://localhost/Public/Home/css/t_navigation.css

結語

varnish是一款內存類型的緩存軟件，而非nginx擴展proxy_cache那種物理緩存類型的軟件，存取速度比較快,但是也有弊端，重啟后所有緩存得重寫。不管怎么說，什么架子都適用的場景，要想滿足業務需求還是得搗鼓透徹，而我也只是將我想到的給實現出來，畢竟資源和精力都是有限的，也就隨便玩玩，諸位看客看看就好，別太認真，知道怎么回事兒就行。

云服務器 GPU云服務器 nginx代理 nginx反向代理 nginx代理https nginx代理nodejs

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/61807.html

Nginx 代理 varnish 的姿勢

摘要：以前做網站的時候遇到了網站的訪問量很大，而導致后端處理程序響應超時而導致的一些問題。下面我想介紹一下的使用技巧準備嚴格來說是可以當作一個代理服務器的軟件，直接將請求轉發到然后交給處理會獲取經過處理后的數據最后返回給瀏覽器。以前做網站的時候遇到了網站的訪問量很大，而導致后端處理程序響應超時而導致的一些問題。當時采用的架構是nginx+php-fastcgi，同事想到了用nginx-pr...

zhoutk 2019-07-25 13:46 評論0 收藏0
【譯】Ngnix實現一個緩存和縮略處理的反向代理服務器

摘要：我覺得結合的反向代理，緩存和圖像過濾處理三大模塊來為我托管在上的圖片來創建一個縮略圖服務器會很優雅。后者將作為的反向代理，產生并提供調整大小后的圖像。它返回有效的響應，緩存服務器將緩存該響應天，其它任何東西都只緩存秒。一兩個月前，我決定從我的站點中移除Varnish ，并用Nginx內置的緩存系統替代它。我本來已經在我的python站點上用了nginx來反向代理，所以擺脫Varnis...

bergwhite 2019-08-06 13:15 評論0 收藏0
【譯】Ngnix實現一個緩存和縮略處理的反向代理服務器

摘要：我覺得結合的反向代理，緩存和圖像過濾處理三大模塊來為我托管在上的圖片來創建一個縮略圖服務器會很優雅。后者將作為的反向代理，產生并提供調整大小后的圖像。它返回有效的響應，緩存服務器將緩存該響應天，其它任何東西都只緩存秒。一兩個月前，我決定從我的站點中移除Varnish ，并用Nginx內置的緩存系統替代它。我本來已經在我的python站點上用了nginx來反向代理，所以擺脫Varnis...

big_cat 2019-07-25 13:37 評論0 收藏0
通用圖床服務架構解析（百萬級回源/天）

摘要：轉發通過，將請求通過負載均衡，均衡給后端處理的服務。圖床同時也支持同步上傳回調通知的方式，將圖片上傳結果反饋給業務方。 Hulk 圖床是支持 360 公司絕大部分業務的圖片服務，支持多種圖片處理功能，如：裁剪、壓縮、濾鏡、pHash 計算、人臉識別、格式轉換、gif 首幀提取……等等，支持的業務線包括：搜索、圖搜、新聞、信息流、廣告……等等，每天 CDN 回源圖床后端 150+ 億 P...

XFLY 2019-08-06 13:20 評論0 收藏0

發表評論

登陸后可評論

0條評論

Dongjie_Liu

男|高級講師

我要關注我要私信

TA的文章

iFog：$11/半年/256MB內存/5GB空間/不限流量/100Mbps-1Gbps端口/KVM

閱讀 2309·2021-08-26 14:14
20170808- css 居中

閱讀 2678·2019-08-29 13:07
數據結構與算法（排序） --javascript語言描述

閱讀 2084·2019-08-26 11:44
call,apply,bind

閱讀 676·2019-08-26 10:11
每日 30 秒 ? 根據條件將數組分成兩個集合

閱讀 2410·2019-08-23 15:43
上百道最新前端面試題

閱讀 3080·2019-08-23 14:17
echarts花樣作死的坑

閱讀 385·2019-08-23 12:36
JavaScript 進階知識 - Ajax篇

閱讀 2082·2019-08-22 15:20

国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

上云采購季！| 2核2G4M爆款云服務器低至59元/年，更有多臺、長期優惠，快來選購！

Nginx 代理 varnish 的姿勢

相關文章