Nginx 限制百度等爬蟲連接

yearsj 發布于2019-07-25 13:40 / 1004人閱讀

摘要：目的每兩秒允許個來自頭包含等的爬蟲類請求測試官方文檔中文相關解釋

目的: 每兩秒允許1個來自header頭包含Baiduspider等的爬蟲類請求

http {

map $http_user_agent $is_limited_bot {
    "~Baiduspider" 1;
    "~OtherSpider" 2;
    default "";
}
limit_req_zone  $is_limited_bot zone=botzone:10m   rate=30r/m;

server {
    ...

    location / {
        ...

        limit_req zone=botzone burst=5;
    }
}

}

測試: curl -I http://example.com -A OtherSpider

Nginx官方文檔:http://nginx.org/en/docs/http/ngx_http_limit_req_module.html
中文相關解釋:http://storysky.blog.51cto.com/628458/642970/

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/39277.html

網站信息采集

摘要：網站信息采集在編寫爬蟲之前可能需要先了解和搜集網站信息協議也稱為爬蟲協議機器人協議等的全稱是網絡爬蟲排除標準，網站通過協議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。網站信息采集在編寫爬蟲之前可能需要先了解和搜集網站信息 robots.txt Robots協議（也稱為爬蟲協議、機器人協議等）的全稱是網絡爬蟲排除標準（Robots Exclusion Protocol），網站通過...

AZmake 2019-07-30 15:32 評論0 收藏0
Angular2 網站 SEO 攻略

摘要：使用生成靜態頁，再配置在爬蟲訪問時提供靜態頁中的內容。如何在爬蟲訪問時讓爬蟲獲取到靜態頁中的內容要演練此部分內容，首先你要把網站用部署。 Angular 的優點有很多，但如果用它來開發網站的話，就不得不面對它的兩大缺點：首頁加載慢搜索引擎的爬蟲獲取不到頁面內容由于 Angular 是通過 js 動態生成 dom 并插入到頁面中，搜索引擎默認只能獲得頁面的標題。我們可以使用 c...

niuxiaowei111 2019-07-25 14:15 評論0 收藏0
基于python的百度云網盤資源搜索引擎設計架構

摘要：大家都知道百度云網盤上有很多分享的資源，包括軟件各類視頻自學教程電子書甚至各種電影種子應有盡有，但百度云卻沒有提供相應的搜索功能。于是就嘗試開發一個百度云資源的搜索系統。大家都知道百度云網盤上有很多分享的資源，包括軟件、各類視頻自學教程、電子書、甚至各種電影、BT種子應有盡有，但百度云卻沒有提供相應的搜索功能。個人平時要找一些軟件、美劇覺得非常蛋疼。于是就嘗試開發一個百度云資源的搜索...

williamwen1986 2019-07-25 10:23 評論0 收藏0
18年求職面經及總結

摘要：年求職面經及總結我的求職之路差不多走到盡頭了感覺真是精疲力盡了把這大半年的經歷和面試總結寫下來希望能給和我一樣在求職路上煎熬的人一點幫助先說背景微電子科學與工程專業學過兩門和相關的課程語言和單片機這個專業的唯一好處就是大部分人并不知道這個專 18年求職面經及總結我的求職之路差不多走到盡頭了,感覺真是精疲力盡了.把這大半年的經歷和面試總結寫下來,希望能給和我一樣在求職路上煎熬的人一點幫...

zhangwang 2019-08-22 11:07 評論0 收藏0
18年求職面經及總結

摘要：年求職面經及總結我的求職之路差不多走到盡頭了感覺真是精疲力盡了把這大半年的經歷和面試總結寫下來希望能給和我一樣在求職路上煎熬的人一點幫助先說背景微電子科學與工程專業學過兩門和相關的課程語言和單片機這個專業的唯一好處就是大部分人并不知道這個專 18年求職面經及總結我的求職之路差不多走到盡頭了,感覺真是精疲力盡了.把這大半年的經歷和面試總結寫下來,希望能給和我一樣在求職路上煎熬的人一點幫...

fjcgreat 2019-08-01 17:38 評論0 收藏0