屏蔽一些國外或國內5118、桔子SEO的蜘蛛

Tecode 發布于2022-06-28 19:00 / 2778人閱讀

摘要：下面介紹屏蔽國外一些網站分析平臺的蜘蛛的方法。有些網站蜘蛛爬起來比百度谷歌還要勤快，頻繁的爬取會增加服務器的一定負荷，對于服務器性能吃緊的小伙伴非常適用。

下面介紹屏蔽國外一些網站分析平臺的蜘蛛的方法。

有些網站蜘蛛爬起來比百度、谷歌還要勤快，頻繁的爬取會增加服務器的一定負荷，對于服務器性能吃緊的小伙伴非常適用。

國外常見非搜索引擎蜘蛛列表：
SemrushBot
DotBot
MegaIndex.ru
MauiBot
AhrefsBot
MJ12bot
BLEXBot

一、robots.txt協議修改(以上7個蜘蛛都遵守robots協議)

User-agent: Baiduspider
Disallow:
User-agent: Googlebot
Disallow:
User-agent: MSNBot
Disallow:
User-agent: Baiduspider-image
Disallow:
User-agent: YoudaoBot
Disallow:
User-agent: Sogou web spider
Disallow:
User-agent: Sogou inst spider
Disallow:
User-agent: Sogou spider2
Disallow:
User-agent: Sogou blog
Disallow:
User-agent: Sogou News Spider
Disallow:
User-agent: Sogou Orion spider
Disallow:
User-agent: JikeSpider
Disallow:
User-agent: Sosospider
Disallow:
User-agent: PangusoSpider
Disallow:
User-agent: yisouspider
Disallow:
User-agent: EasouSpider
Disallow:
User-agent: googlebot-image
Disallow:
User-agent: googlebot-mobile
Disallow:
User-agent: *
Disallow: /

二、寶塔等防火墻增加UA黑名單

在寶塔防火墻中增加如上UA頭，或者批量導入，格式如下：

["SemrushBot""DotBot""MegaIndex.ru""MauiBot""AhrefsBot""MJ12bot""BLEXBot"]

屏蔽一些國外或國內5118、桔子SEO的蜘蛛

國內5118和桔子這類爬蟲影響力有限，這里暫不處理。

云服務器 GPU云服務器 cdn能屏蔽蜘蛛嗎國外視頻網站有哪一些 java的一些代碼深度學習的一些應用

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/126377.html

寶塔Linux面板免費Nginx免費防火墻安裝使用教程

摘要：今天，小編要為大家分享得是寶塔面板免費免費防火墻安裝使用教程，這個寶塔免費防火墻功能非常龐大，可以直接屏蔽所有國外，并且黑名單可以有效躲避偽裝防屏蔽，而且還有很多安全防御功能，特別是防御。今天，小編要為大家分享得是寶塔Linux面板免費nginx免費防火墻安裝使用教程，這個寶塔免費防火墻功能非常龐大，可以直接屏蔽所有國外IP，并且黑名單可以有效躲避偽裝IP、防屏蔽IP，而且還有很多安全防御功...

freewolf 2021-09-22 10:56 評論0 收藏0
作為前端，你不得不知道的SEO

摘要：就是把你的頁面直接丟給百度的接口，親口告訴百度你有哪些頁面，這是效率最高也是收錄最快的方式了。百度在國內搜索引擎的占有率最高，但是很不幸，它并不支持數據的爬取。這些將作為搜索結果排序的重要依據。 ??研發的同學，其實很多人并沒有深入了解SEO這個概念。在技術博客里，提及這一塊的也寥寥無幾。我今天就拿自己的經驗，簡單給大家掃個盲，有什么遺漏的地方，歡迎大家補充。 ??文字內容有點多，但是...

UnixAgain 2019-08-26 11:59 評論0 收藏0
解決博客圖片存儲——阿里云的OSS運用

摘要：接下來講解一下博客中用的圖床阿里云對象存儲，簡稱，雖然目前大家用的比較多的是七牛云之類的，但是因為我個人原因我還是選擇了阿里云，后面我會簡單說明下原因。 showImg(https://segmentfault.com/img/remote/1460000008838754?w=960&h=300); 前言之前打算寫一篇有關個人博客SEO優化的體驗和一些自身體會，但是發現自己還沒完全...

Lowky 2019-08-29 12:31 評論0 收藏0
解決博客圖片存儲——阿里云的OSS運用

摘要：接下來講解一下博客中用的圖床阿里云對象存儲，簡稱，雖然目前大家用的比較多的是七牛云之類的，但是因為我個人原因我還是選擇了阿里云，后面我會簡單說明下原因。 showImg(https://segmentfault.com/img/remote/1460000008838754?w=960&h=300); 前言之前打算寫一篇有關個人博客SEO優化的體驗和一些自身體會，但是發現自己還沒完全...

incredible 2019-08-01 16:46 評論0 收藏0