爬蟲(chóng)學(xué)習(xí)筆記：練習(xí)爬取多頁(yè)天涯帖子

wuaiqiu 發(fā)布于2019-07-30 15:41 / 1627人閱讀

摘要：引入庫(kù)和請(qǐng)求頭文件定義主體函數(shù)。函數(shù)主體由四部分組成請(qǐng)求網(wǎng)址解析網(wǎng)頁(yè)，形成可查找的格式通過(guò)或者查找需要的標(biāo)簽通過(guò)代碼將多個(gè)內(nèi)容合并在一起在這里構(gòu)造一個(gè)兩層鏈接結(jié)構(gòu)帖子的頁(yè)和帖子的詳情頁(yè)的關(guān)系在這里實(shí)現(xiàn)要注意，這里的是不包括在范圍里的

今天練習(xí)了抓取多頁(yè)天涯帖子，重點(diǎn)復(fù)習(xí)的知識(shí)包括

soup.find_all和soup.selcet兩個(gè)篩選方式對(duì)應(yīng)不同的參數(shù)；

希望將獲取到的多個(gè)內(nèi)容組合在一起返回的時(shí)候，要用"zip()"的代碼來(lái)實(shí)現(xiàn)；

兩層代碼結(jié)構(gòu)之間的關(guān)系如何構(gòu)造；

這里有一個(gè)疑問(wèn)：有時(shí)候一個(gè)標(biāo)簽可以有多個(gè)屬性，不知道soup.find_all()能不能接受不止一個(gè)屬性以縮小查找的范圍。

# 引入庫(kù)和請(qǐng)求頭文件
import requests
from bs4 import BeautifulSoup
headers = {
    "User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36"
}

# 定義主體函數(shù)。函數(shù)主體由四部分組成：
#1.請(qǐng)求網(wǎng)址
#2.解析網(wǎng)頁(yè)，形成可查找的html格式
#3.通過(guò)soup.select或者sopu.find_all查找需要的標(biāo)簽
#4.通過(guò)zip()代碼將多個(gè)內(nèi)容合并在一起

def get_content(url):
    res = requests.get(url,headers = headers)
    res.encoding = "utf-8"
    soup = BeautifulSoup(res.text,"html.parser")
    contents = soup.find_all("div","bbs-content")
    authors = soup.find_all("a","js-vip-check")
    for author,content in zip(authors,contents):
        data = {
        "author":author.get_text().strip(),
        "content": content.get_text().strip()
    }
        print(data)
# 在這里構(gòu)造一個(gè)兩層鏈接結(jié)構(gòu)：帖子的1、2、3、4頁(yè)和帖子的詳情頁(yè)的關(guān)系在這里實(shí)現(xiàn)
if __name__ == "__main__":
    urls = ["http://bbs.tianya.cn/post-develop-2271894-{}.shtml".format(str(i))  for i in range (1,5)] # 要注意，這里的‘5’是不包括在范圍里的
    for url in urls:
        get_content(url)

GPU云服務(wù)器云服務(wù)器爬蟲(chóng)爬取數(shù)據(jù) java爬蟲(chóng)爬取數(shù)據(jù) 深度學(xué)習(xí)練習(xí) 機(jī)器學(xué)習(xí)練習(xí)題

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://specialneedsforspecialkids.com/yun/41408.html

相關(guān)文章

如何快速掌握Python數(shù)據(jù)采集與網(wǎng)絡(luò)爬蟲(chóng)技術(shù)

摘要：通過(guò)本文的學(xué)習(xí)，可以快速掌握網(wǎng)絡(luò)爬蟲(chóng)基礎(chǔ)，結(jié)合實(shí)戰(zhàn)練習(xí)，寫(xiě)出一些簡(jiǎn)單的爬蟲(chóng)項(xiàng)目。從技術(shù)手段來(lái)說(shuō)，網(wǎng)絡(luò)爬蟲(chóng)有多種實(shí)現(xiàn)方案，如。二網(wǎng)絡(luò)爬蟲(chóng)技術(shù)基礎(chǔ)在本次課中，將使用技術(shù)手段進(jìn)行項(xiàng)目的編寫(xiě)。摘要：本文詳細(xì)講解了python網(wǎng)絡(luò)爬蟲(chóng)，并介紹抓包分析等技術(shù)，實(shí)戰(zhàn)訓(xùn)練三個(gè)網(wǎng)絡(luò)爬蟲(chóng)案例，并簡(jiǎn)單補(bǔ)充了常見(jiàn)的反爬策略與反爬攻克手段。通過(guò)本文的學(xué)習(xí)，可以快速掌握網(wǎng)絡(luò)爬蟲(chóng)基礎(chǔ)，結(jié)合實(shí)戰(zhàn)練習(xí)，寫(xiě)出一些簡(jiǎn)單的...

W4n9Hu1 2019-07-30 16:09 評(píng)論0 收藏0
零基礎(chǔ)如何學(xué)爬蟲(chóng)技術(shù)

摘要：楚江數(shù)據(jù)是專(zhuān)業(yè)的互聯(lián)網(wǎng)數(shù)據(jù)技術(shù)服務(wù)，現(xiàn)整理出零基礎(chǔ)如何學(xué)爬蟲(chóng)技術(shù)以供學(xué)習(xí)，。本文來(lái)源知乎作者路人甲鏈接楚江數(shù)據(jù)提供網(wǎng)站數(shù)據(jù)采集和爬蟲(chóng)軟件定制開(kāi)發(fā)服務(wù)，服務(wù)范圍涵蓋社交網(wǎng)絡(luò)電子商務(wù)分類(lèi)信息學(xué)術(shù)研究等。楚江數(shù)據(jù)是專(zhuān)業(yè)的互聯(lián)網(wǎng)數(shù)據(jù)技術(shù)服務(wù)，現(xiàn)整理出零基礎(chǔ)如何學(xué)爬蟲(chóng)技術(shù)以供學(xué)習(xí)，http://www.chujiangdata.com。第一：Python爬蟲(chóng)學(xué)習(xí)系列教程（來(lái)源于某博主：htt...

KunMinX 2019-07-25 11:29 評(píng)論0 收藏0
首次公開(kāi)，整理12年積累的博客收藏夾，零距離展示《收藏夾吃灰》系列博客

摘要：時(shí)間永遠(yuǎn)都過(guò)得那么快，一晃從年注冊(cè)，到現(xiàn)在已經(jīng)過(guò)去了年那些被我藏在收藏夾吃灰的文章，已經(jīng)太多了，是時(shí)候把他們整理一下了。那是因?yàn)槭詹貖A太亂，橡皮擦給設(shè)置私密了，不收拾不好看呀。 ...

Harriet666 2021-09-10 10:51 評(píng)論0 收藏0
爬蟲(chóng) - 收藏集 - 掘金

摘要：在這之前，還是有必要對(duì)一些概念超輕量級(jí)反爬蟲(chóng)方案后端掘金前言爬蟲(chóng)和反爬蟲(chóng)日益成為每家公司的標(biāo)配系統(tǒng)。爬蟲(chóng)修煉之道——從網(wǎng)頁(yè)中提取結(jié)構(gòu)化數(shù)據(jù)并保存（以爬取糗百文本板塊所有糗事為例） - 后端 - 掘金歡迎大家關(guān)注我的專(zhuān)題：爬蟲(chóng)修煉之道上篇爬蟲(chóng)修煉之道——編寫(xiě)一個(gè)爬取多頁(yè)面的網(wǎng)絡(luò)爬蟲(chóng)主要講解了如何使用python編寫(xiě)一個(gè)可以下載多頁(yè)面的爬蟲(chóng)，如何將相對(duì)URL轉(zhuǎn)為絕對(duì)URL，如何限速，...

1fe1se 2019-07-31 10:58 評(píng)論0 收藏0
node爬蟲(chóng)快速入門(mén)

摘要：爬蟲(chóng)初入前端，剛剛接觸，對(duì)于耳聞已久的爬蟲(chóng)非常神往，所以有了這篇文章，項(xiàng)目代碼在文章末尾需求抓取天涯論壇重慶地區(qū)板塊的文章列表信息。 node爬蟲(chóng) 初入前端，剛剛接觸node，對(duì)于耳聞已久的node爬蟲(chóng)非常神往，所以有了這篇文章，項(xiàng)目代碼在文章末尾需求抓取天涯論壇重慶地區(qū)板塊的文章列表信息。使用工具 node.js superagent(客戶(hù)端請(qǐng)求代理模塊) cheerio...

simon_chen 2019-08-22 14:00 評(píng)論0 收藏0