網(wǎng)絡(luò)爬蟲(chóng)-POST請(qǐng)求示例

learn_shifeng 發(fā)布于2019-07-25 11:37 / 1888人閱讀

摘要：請(qǐng)求比較常見(jiàn)的一種情況就是用戶名密碼登陸情況，這里介紹一種用程序登陸豆瓣賬號(hào)的流程。在編寫網(wǎng)絡(luò)爬蟲(chóng)的時(shí)候，我們只需要把與用戶相關(guān)的數(shù)據(jù)給程序就可以了，對(duì)于豆瓣來(lái)說(shuō)，關(guān)鍵就是和兩個(gè)字段，這樣通過(guò)下面程序來(lái)實(shí)現(xiàn)。

POST請(qǐng)求比較常見(jiàn)的一種情況就是用戶名密碼登陸情況，這里介紹一種用程序登陸豆瓣賬號(hào)的流程。
?

在豆瓣需要我們輸入用戶名密碼，才能獲得我們用戶里面相關(guān)的數(shù)據(jù)。那么我們通過(guò)POST方式傳給服務(wù)器的數(shù)據(jù)在哪里呢？與GET方式一樣，我們可以在Chrome瀏覽器中查看請(qǐng)求頭，在里面可以看到Form Data，很自然可以看到我們?cè)陧?yè)面輸入的用戶名密碼。

登陸之后，我們就可以獲得與用戶相關(guān)的頁(yè)面。因?yàn)槭荘OST方式，瀏覽器的url并沒(méi)有跳轉(zhuǎn)到其他，仍然與登陸之前一樣，但是頁(yè)面內(nèi)容，卻發(fā)生了變化。
?

在編寫網(wǎng)絡(luò)爬蟲(chóng)的時(shí)候，我們只需要把與用戶相關(guān)的數(shù)據(jù)給程序就可以了，對(duì)于豆瓣來(lái)說(shuō)，關(guān)鍵就是form_email和form_password兩個(gè)字段，這樣通過(guò)下面程序來(lái)實(shí)現(xiàn)。

打印出來(lái)的內(nèi)容，大家可以看看是不是登陸后頁(yè)面的網(wǎng)頁(yè)源代碼呢？

楚江數(shù)據(jù)是一家專業(yè)的互聯(lián)網(wǎng)數(shù)據(jù)技術(shù)服務(wù)商，提供網(wǎng)站APP數(shù)據(jù)采集和爬蟲(chóng)軟件微博爬蟲(chóng)定制開(kāi)發(fā)服務(wù)，服務(wù)范圍涵蓋社交網(wǎng)絡(luò)、電子商務(wù)、分類信息、學(xué)術(shù)研究等。網(wǎng)站 http://www.chujiangdata.com。

轉(zhuǎn)載請(qǐng)注明：寧哥的小站 ? 4. 網(wǎng)絡(luò)爬蟲(chóng)-POST請(qǐng)求示例

GPU云服務(wù)器云服務(wù)器 post請(qǐng)求發(fā)送post請(qǐng)求模擬POST請(qǐng)求 post請(qǐng)求中文亂碼

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://specialneedsforspecialkids.com/yun/38510.html

相關(guān)文章

爬蟲(chóng)養(yǎng)成記 - 網(wǎng)絡(luò)下載器urllib2偽裝術(shù)

摘要：發(fā)送請(qǐng)求方不希望被跟蹤。主要用來(lái)將偽裝成一個(gè)正常的瀏覽器。該字典就是說(shuō)是網(wǎng)絡(luò)協(xié)議名稱，是代理的。另外一般會(huì)明確指定資源存放的位置。意思是將現(xiàn)在提交的數(shù)據(jù)存放于下第篇。請(qǐng)求刪除某一個(gè)資源。向服務(wù)器提交數(shù)據(jù)。前一個(gè)教程我們涉及到了urllib2的一些高級(jí)應(yīng)用。這一片文章我們來(lái)比較系統(tǒng)的介紹一下。該篇教程參考了靜覓的博文：http://cuiqingcai.com/954.html。寫這...

Darkgel 2019-07-25 11:24 評(píng)論0 收藏0
Go 爬蟲(chóng)之 HTTP 請(qǐng)求 QuickStart

摘要：即是發(fā)送請(qǐng)求的客戶端，請(qǐng)求的執(zhí)行都是由發(fā)起。響應(yīng)信息執(zhí)行請(qǐng)求成功，如何查看響應(yīng)信息。提交文件文件提交應(yīng)該是請(qǐng)求中較為復(fù)雜的內(nèi)容了。主要涉及兩部分內(nèi)容，即讀取響應(yīng)的與設(shè)置請(qǐng)求的。的包中請(qǐng)求是不重定向的，但測(cè)試結(jié)果顯示的是自動(dòng)重定向的。前幾天在知乎想法談到了一個(gè)話題，如何模仿學(xué)習(xí)，舉了通過(guò) net/http client 模仿 Pyhton 的requests的例子。但并未實(shí)踐，難道...

antyiwei 2019-07-31 11:31 評(píng)論0 收藏0
網(wǎng)絡(luò)爬蟲(chóng)介紹

摘要：什么是爬蟲(chóng)網(wǎng)絡(luò)爬蟲(chóng)也叫網(wǎng)絡(luò)蜘蛛，是一種自動(dòng)化瀏覽網(wǎng)絡(luò)的程序，或者說(shuō)是一種網(wǎng)絡(luò)機(jī)器人。什么是爬蟲(chóng) 網(wǎng)絡(luò)爬蟲(chóng)也叫網(wǎng)絡(luò)蜘蛛，是一種自動(dòng)化瀏覽網(wǎng)絡(luò)的程序，或者說(shuō)是一種網(wǎng)絡(luò)機(jī)器人。它們被廣泛用于互聯(lián)網(wǎng)搜索引擎或其他類似網(wǎng)站，以獲取或更新這些網(wǎng)站的內(nèi)容和檢索方式。它們可以自動(dòng)采集所有其能夠訪問(wèn)到的頁(yè)面內(nèi)容，以供搜索引擎做進(jìn)一步處理（分檢整理下載的頁(yè)面），而使得用戶能更快的檢索到他們需要的信息。簡(jiǎn)...

sf190404 2019-07-31 10:23 評(píng)論0 收藏0
Python3網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)---25、requests：高級(jí)用法

摘要：比如我們以知乎為例，直接利用來(lái)維持登錄狀態(tài)。測(cè)試后，發(fā)現(xiàn)同樣可以正常登錄知乎。上一篇文章網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)基本使用下一篇文章網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)正則表達(dá)式上一篇文章：Python3網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)---24、requests：基本使用下一篇文章：Python3網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)---26、正則表達(dá)式在前面一節(jié)我們了解了 Requests 的基本用法，如基本的 GET、POST 請(qǐng)求以及 Response...

dingding199389 2019-07-31 10:35 評(píng)論0 收藏0
Python3網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)---15、爬蟲(chóng)基礎(chǔ)：HTTP基本原理

摘要：上一篇文章網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)部署相關(guān)庫(kù)的安裝下一篇文章網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)網(wǎng)頁(yè)基礎(chǔ)在寫爬蟲(chóng)之前，還是需要了解一些爬蟲(chóng)的基礎(chǔ)知識(shí)，如原理網(wǎng)頁(yè)的基礎(chǔ)知識(shí)爬蟲(chóng)的基本原理基本原理等。由萬(wàn)維網(wǎng)協(xié)會(huì)和工作小組共同合作制定的規(guī)范，目前廣泛使用的是版本。上一篇文章：Python3網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)---14、部署相關(guān)庫(kù)的安裝：Scrapyrt、Gerapy下一篇文章：Python3網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)---16、Web網(wǎng)頁(yè)基礎(chǔ)...

codeGoogle 2019-07-31 10:34 評(píng)論0 收藏0