爬蟲數據庫一些簡單的設計邏輯

edagarli 發布于2019-07-31 10:30 / 510人閱讀

摘要：所以要設計條隊列，保存商品信息。數據更新問題有新商品進來，直接插入即可，如果是舊商品，那要不要更新數據庫里的內容呢一般來說是可以更新的，但有種情況例外，就是你的數據庫會有人去編輯的情況。

場景：爬取某商城的部分商品。

隊列設計

這里至少需要爬取2種資源，一種是商品列表，一種是商品信息。
所以要設計1條隊列，保存商品信息URL。

爬蟲1定期爬前N個列表頁 URL，把里面的商品信息URL爬下來，保存到隊列里。

爬蟲2定期從隊列中抽出商品信息URL，爬取商品信息，爬完后把該URL移出隊列。

所以呢，簡單來說，只要有2張表就行了，一張保存隊列信息，一張保存商品信息。

何時停止問題

為了避免每次都把所有商品爬一遍，就要在適當的時候停止。
爬列表頁的時候，一般是設定只爬前 N 頁。
爬商品信息URL的時候，一般是先檢查這個商品是否存在，不存在就入隊，存在的話，就表示接下來都是舊數據了，可以停止了。

當然有種情況，就是有些舊的商品，會被人為地置頂，或者排到前面來。

這時候就要設置一個值 M，每次最多爬前 M 個，多了不爬。

數據更新問題：

有新商品進來，直接插入即可，如果是舊商品，那要不要更新數據庫里的內容呢？
一般來說是可以更新的，但有種情況例外，就是你的數據庫會有人去編輯的情況。

如果你的數據庫有專人編輯，那么最好不要更新舊商品，因為會覆蓋掉編輯的內容。并且，數據表要采用軟刪除的方式，避免前面的人剛刪除了數據，你的爬蟲又把數據寫進去了。

云服務器 GPU云服務器簡單的爬蟲簡單的爬蟲程序最簡單的爬蟲 python簡單的爬蟲

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/43930.html

從0-1打造最強性能Scrapy爬蟲集群

摘要：包括爬蟲編寫爬蟲避禁動態網頁數據抓取部署分布式爬蟲系統監測共六個內容，結合實際定向抓取騰訊新聞數據，通過測試檢驗系統性能。 1 項目介紹本項目的主要內容是分布式網絡新聞抓取系統設計與實現。主要有以下幾個部分來介紹：（1）深入分析網絡新聞爬蟲的特點，設計了分布式網絡新聞抓取系統爬取策略、抓取字段、動態網頁抓取方法、分布式結構、系統監測和數據存儲六個關鍵功能。（2）結合程序代碼分解說...

vincent_xyb 2019-07-30 14:46 評論0 收藏0
爬蟲 - 收藏集 - 掘金

摘要：在這之前，還是有必要對一些概念超輕量級反爬蟲方案后端掘金前言爬蟲和反爬蟲日益成為每家公司的標配系統。爬蟲修煉之道——從網頁中提取結構化數據并保存（以爬取糗百文本板塊所有糗事為例） - 后端 - 掘金歡迎大家關注我的專題：爬蟲修煉之道上篇爬蟲修煉之道——編寫一個爬取多頁面的網絡爬蟲主要講解了如何使用python編寫一個可以下載多頁面的爬蟲，如何將相對URL轉為絕對URL，如何限速，...

1fe1se 2019-07-31 10:58 評論0 收藏0
一只node爬蟲的升級打怪之路

摘要：我是一個知乎輕微重度用戶，之前寫了一只爬蟲幫我爬取并分析它的數據，我感覺這個過程還是挺有意思，因為這是一個不斷給自己創造問題又去解決問題的過程。所以這只爬蟲還有登陸知乎搜索題目的功能。我一直覺得，爬蟲是許多web開發人員難以回避的點。我們也應該或多或少的去接觸這方面，因為可以從爬蟲中學習到web開發中應當掌握的一些基本知識。而且，它還很有趣。我是一個知乎輕微重度用戶，之前寫了一只爬...

shiweifu 2019-08-21 17:37 評論0 收藏0
nodeJS實現基于Promise爬蟲定時發送信息到指定郵件

摘要：也就是說，我的篇文章的請求對應個實例，這些實例都請求完畢后，執行以下邏輯他的目的在于對每一個返回值這個返回值為單篇文章的內容，進行方法處理。英國人Robert Pitt曾在Github上公布了他的爬蟲腳本，導致任何人都可以容易地取得Google Plus的大量公開用戶的ID信息。至今大概有2億2千5百萬用戶ID遭曝光。亮點在于，這是個nodejs腳本，非常短，包括注釋只有71行。 ...

xuweijian 2019-08-20 15:27 評論0 收藏0