scrapy爬取Drupal網站，提示404錯誤

Xufc 發布于2019-07-31 10:09 / 1439人閱讀

摘要：最近在學習的爬蟲。以前堅持用做爬蟲。所以就開始動手用爬取一些東西。分頁抓取的時候，首頁是正常的，爬取第二頁的時候，大概率是拋錯提示，要么就是給我返回了一些臟數據。這個網站還真是老謀深算啊。然后我仔細分析了下網站的請求頭。

最近在學習Python的爬蟲。以前堅持用nodejs做爬蟲。前兩天閑得無聊，在慕課上看了下scrapy的課程。然后發現這個框架的設計真模塊化。所以就開始動手用scrapy爬取一些東西。
然后我的目標網站是個drupal做的。分頁抓取的時候，首頁是正常的，爬取第二頁的時候，大概率是拋錯提示：404，要么就是給我返回了一些臟數據。

這個網站還真是老謀深算啊。然后我仔細分析了下網站的請求頭。然后加上了如下兩條，請求就正常了：

request.headers["accept"] = "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8"
request.headers["cache-control"] = "no-cache"

看來還是得注意請求頭的細節。

云服務器 GPU云服務器網站404錯誤 scrapy爬取實例點擊網頁提示?404? asp提示404

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/43333.html

scrapy入門教程——爬取豆瓣電影Top250！

摘要：注意爬豆爬一定要加入選項，因為只要解析到網站的有，就會自動進行過濾處理，把處理結果分配到相應的類別，但偏偏豆瓣里面的為空不需要分配，所以一定要關掉這個選項。本課只針對python3環境下的Scrapy版本（即scrapy1.3+）選取什么網站來爬取呢？對于歪果人，上手練scrapy爬蟲的網站一般是官方練手網站 http://quotes.toscrape.com 我們中國人，當然...

senntyou 2019-07-30 15:05 評論0 收藏0
首次公開，整理12年積累的博客收藏夾，零距離展示《收藏夾吃灰》系列博客

摘要：時間永遠都過得那么快，一晃從年注冊，到現在已經過去了年那些被我藏在收藏夾吃灰的文章，已經太多了，是時候把他們整理一下了。那是因為收藏夾太亂，橡皮擦給設置私密了，不收拾不好看呀。 ...

Harriet666 2021-09-10 10:51 評論0 收藏0
Scrapy 框架入門簡介

摘要：解析的方法，每個初始完成下載后將被調用，調用的時候傳入從每一個傳回的對象來作為唯一參數，主要作用如下負責解析返回的網頁數據，提取結構化數據生成生成需要下一頁的請求。 Scrapy 框架 Scrapy是用純Python實現一個為了爬取網站數據、提取結構性數據而編寫的應用框架，用途非常廣泛。框架的力量，用戶只需要定制開發幾個模塊就可以輕松的實現一個爬蟲，用來抓取網頁內容以及各種圖片，非常...

Coding01 2019-07-30 15:39 評論0 收藏0
爬蟲入門

摘要：通用網絡爬蟲通用網絡爬蟲又稱全網爬蟲，爬取對象從一些種子擴充到整個。為提高工作效率，通用網絡爬蟲會采取一定的爬取策略。介紹是一個國人編寫的強大的網絡爬蟲系統并帶有強大的。爬蟲簡單的說網絡爬蟲（Web crawler）也叫做網絡鏟（Web scraper）、網絡蜘蛛（Web spider），其行為一般是先爬到對應的網頁上，再把需要的信息鏟下來。分類網絡爬蟲按照系統結構和實現技術，...

defcon 2019-07-30 17:07 評論0 收藏0