基于Python的Post請求數據爬取

maybe_009 發布于2019-07-31 10:32 / 1298人閱讀

摘要：為什么做這個和同學聊天，他想爬取一個網站的請求觀察該網站的請求參數有兩種類型參數體放在了中，即拼接參數中要加入一個空的對象，關于為什么要加入空的對象，猜測原因為反爬蟲。

為什么做這個

和同學聊天，他想爬取一個網站的post請求

觀察

該網站的post請求參數有兩種類型：（1）參數體放在了query中，即url拼接參數（2）body中要加入一個空的json對象，關于為什么要加入空的json對象，猜測原因為反爬蟲。既有query參數又有空對象體的body參數是一件腦洞很大的事情。

一開始先在apizza網站上了做了相關實驗才發現上面這個規律的，并發現該網站的請求參數要為raw形式，要是直接寫代碼找規律不是一件容易的事情。

源碼

import requests
import json
headers = {
        "Accept":"application/json, text/javascript, */*; q=0.01",
        "X-Requested-With":"XMLHttpRequest",
        "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.71 Safari/537.36",
        "Content-Type":"application/json",
        "Accept-Encoding":"gzip, deflate",
        "Accept-Language":"zh-CN,zh;q=0.8",
        "Cache-Control":"no-cache",
    }
#空的對象，body參數
data = {}
data = json.dumps(data)
page = 0

url = "網站地址，后面為參數?param1=1¶m1="+str(page)
response = requests.post(url = url,data=data ,headers =headers )
print(response.url)
print(response.text)

總結

現在相關工具中發現現象

請求方式確定：post還是get或者其它

參數類型：form-data還是raw或者其它

參數位置：若是post請求，在query中還是body中，還是二者皆有

GPU云服務器云服務器 ajax的post請求 js post 請求數據 js同步post請求數據 js提交post數據請求

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/44003.html

Python-爬蟲工程師-面試總結

摘要：內存池機制提供了對內存的垃圾收集機制，但是它將不用的內存放到內存池而不是返回給操作系統。為了加速的執行效率，引入了一個內存池機制，用于管理對小塊內存的申請和釋放。注：答案一般在網上都能夠找到。1.對if __name__ == main的理解陳述2.python是如何進行內存管理的？3.請寫出一段Python代碼實現刪除一個list里面的重復元素4.Python里面如何拷貝一個對象？...

antz 2019-07-31 11:06 評論0 收藏0
Python入門網絡爬蟲之精華版

摘要：學習網絡爬蟲主要分個大的版塊抓取，分析，存儲另外，比較常用的爬蟲框架，這里最后也詳細介紹一下。網絡爬蟲要做的，簡單來說，就是實現瀏覽器的功能。 Python學習網絡爬蟲主要分3個大的版塊：抓取，分析，存儲另外，比較常用的爬蟲框架Scrapy，這里最后也詳細介紹一下。首先列舉一下本人總結的相關文章，這些覆蓋了入門網絡爬蟲需要的基本概念和技巧：寧哥的小站-網絡爬蟲,當我們在瀏覽器中輸入...

Bmob 2019-07-25 11:34 評論0 收藏0
Python爬蟲之使用Fiddler+Postman+Python的requests模塊爬取各國國旗

摘要：流程作為上述過程的一個演示，我們使用的網址為頁面如下在表單中輸入德國，跳轉后的頁面如下我們可以發現，在搜索的結果中，會出現德國這個搜索結果。點擊該搜索結果，跳轉后的頁面如下在這個頁面中有我們需要的德國的國旗。介紹 ??本篇博客將會介紹一個Python爬蟲，用來爬取各個國家的國旗，主要的目標是為了展示如何在Python的requests模塊中使用POST方法來爬取網頁內容。??為了知道...

laoLiueizo 2019-07-30 16:56 評論0 收藏0
Python requests 安裝與開發

摘要：是用語言編寫客戶端庫，跟類似，基于，但比更加方便，可以節約我們大量的工作，完全滿足測試需求，編寫爬蟲和測試服務器響應數據時經常會用到。 Requests 是用Python語言編寫HTTP客戶端庫，跟urllib、urllib2類似，基于 urllib，但比 urllib 更加方便，可以節約我們大量的工作，完全滿足 HTTP?測試需求，編寫爬蟲和測試服務器響應數據時經常會用到。Reque...

XGBCCC 2019-06-28 13:27 評論0 收藏0