資訊專欄INFORMATION COLUMN
摘要：一入門爬蟲的干貨爬蟲的基本思路通過或者文件獲取網(wǎng)頁，分析要爬取的目標(biāo)內(nèi)容所在的位置用元素選擇器快速提取目標(biāo)內(nèi)容處理提取出來的目標(biāo)內(nèi)容通常整理合成一個存儲處理好的目標(biāo)內(nèi)容比如放到之類的數(shù)據(jù)庫，或者寫進(jìn)文件里。
如果學(xué)會了python的基本語法，我認(rèn)為入門爬蟲是很容易的。 我寫的第一個爬蟲大概只需要10分鐘，自學(xué)的 scrapyd , 看官方文檔花了20分鐘，因為我英文不是很好，很多單詞需要搜索一下。
(scrapy 并不是入門必須的） 再接觸到了 requests , lxml ，配合基本庫 urllib, urllib2 就幾乎無所不能了。后來有人推薦我用 BeatufulSoup 之類的庫，但其實原理都差不多。一、入門爬蟲的干貨 0. 爬蟲的基本思路 a. 通過URL或者文件獲取網(wǎng)頁， b. 分析要爬取的目標(biāo)內(nèi)容所在的位置 c. 用元素選擇器快速提取(Raw) 目標(biāo)內(nèi)容 d. 處理提取出來的目標(biāo)內(nèi)容 （ 通常整理合成一個 Json） e. 存儲處理好的目標(biāo)內(nèi)容 （比如放到 MongoDB 之類的數(shù)據(jù)庫，或者寫進(jìn)文件里）。
1、為什么我入門爬蟲那么快？
答：我自己總結(jié)了一下，在接觸爬蟲之前：
我挺了解HTTP 協(xié)議（看了《HTTP權(quán)威指南》）
我寫過基于Flask框架的后端，用的是《Flask Web開發(fā)：基于Python的Web應(yīng)用開發(fā)實戰(zhàn) 》）
我寫過前端(HTML+CSS+JS)，了解什么是DOM ，會一點jquery
正則也是勉強夠用的
本人大學(xué)也是計算機專業(yè)，學(xué)習(xí)挺認(rèn)真的
所以算是厚積薄發(fā)。
2.那么毫無專業(yè)基礎(chǔ)，也沒有前后端基礎(chǔ)的人應(yīng)該怎么辦？
答：那當(dāng)然要超過半小時啦。先花點時間去大概了解以下內(nèi)容：
HTTP協(xié)議的請求方法，請求頭部，請求數(shù)據(jù)
大概了解一下什么是 cookie
學(xué)一點HTML和元素選擇器
學(xué)會使用Chrome 的 開發(fā)者工具 磨刀不誤砍柴工，當(dāng)然如果有人帶著，這些大概1-2小時就能過到能湊合用的程度了。如果沒人帶，就上網(wǎng)搜索學(xué)習(xí)一下，也很快的，估摸最多十小時。
3.Python 爬蟲常用的庫是哪些？入門應(yīng)該掌握哪些庫？
答：網(wǎng)上有很多相關(guān)的資料，但是我個人覺得新入門的人，不需要也不應(yīng)該一下子接觸所有的庫。正如幼兒剛開始學(xué)說話的時候，不應(yīng)該同時教普通話粵語閩南語英語。 我個人認(rèn)為，學(xué)會 requests 和 lxml ，就可以入門爬蟲了。
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://specialneedsforspecialkids.com/yun/41014.html
摘要：文章目錄前言爬取分析視頻教學(xué)成果展示福利入門到就業(yè)學(xué)習(xí)路線規(guī)劃小白快速入門爬蟲路線前言皮皮蝦一個沙雕而又有趣的憨憨少年，和大多數(shù)小伙伴們一樣喜歡聽歌游戲，當(dāng)然除此之外還有寫作的興趣，，日子還很長，讓我們一起加油努力叭話 ...
摘要：適用人群爬蟲方向數(shù)據(jù)分析方向非程序員加薪四開發(fā)前后端開發(fā)是程序員職業(yè)中的熱門，目前來講，人才缺口依然很大。寄語上面就是所有方向的學(xué)習(xí)路線了，把你感興趣的方向掌握了之后，你去找工作不是什么問題的。 ...
摘要：又不似程序員可以直接套用框架來快速建站，不重復(fù)發(fā)明輪子。至此開啟了新的折騰之旅。以及百度收錄的時候不執(zhí)行腳本等原因。能對應(yīng)高并發(fā)，還能被百度爬蟲識別。主要內(nèi)容如標(biāo)題文章等用標(biāo)簽渲染，讓百度爬蟲一次收錄成功。 showImg(https://segmentfault.com/img/remote/1460000018057514); 目前版本的博客地址: https://zzzmh.cn...
閱讀 2882·2021-11-22 09:34
閱讀 1211·2021-11-19 09:40
閱讀 3335·2021-10-14 09:43
閱讀 3566·2021-09-23 11:22
閱讀 1601·2021-08-31 09:39
閱讀 880·2019-08-30 15:55
閱讀 1414·2019-08-30 15:54
閱讀 854·2019-08-30 15:53
