urllib教程

gecko23 發布于2019-07-30 17:20 / 1250人閱讀

摘要：導入有以下兩種方式，喜歡那種方式看個人愛好發送請求反反爬蟲的基本策略之一設置瀏覽器標識自己要偽裝的頭部設置證書反反爬蟲的基本策略之一設置瀏覽器標識自己要偽裝的頭部構建請求對象發送請求發送請求將字符串類型轉化為

urllib

導入urllib,有以下兩種方式，喜歡那種方式看個人愛好：

import urllib.request
import urllib.parse
#from urllib import reuqest

urllib發送get請求：

# 反反爬蟲的基本策略之一：設置user-agent瀏覽器標識自己要偽裝的頭部
import urllib.request
import urllib.parse

#設置ssl證書


import ssl
ssl._create_default_https_context = ssl._create_unverified_context


url = "http://www.baidu.com/"

# response = urllib.request.urlopen(url)
# print(response.read().decode())

# 反反爬蟲的基本策略之一：設置user-agent瀏覽器標識自己要偽裝的頭部
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36",
}
# 構建請求對象
request = urllib.request.Request(url=url, headers=headers)
# 發送請求
response = urllib.request.urlopen(request)

print(response.read().decode())

urllib發送post請求：

import urllib.request
import urllib.parse

post_url = "http://fanyi.baidu.com/v2transapi"
word = "wolf"
formdata = {
    "from":    "en",
    "to": "zh",
    "query": word,
    "transtype": "realtime",
    "simple_means_flag": "3",
    "sign": "275695.55262",
    "token": "7d9697542b6337bfd8f1b54c7887dcf5",
}

headers = {
    "Host": "fanyi.baidu.com",
    # "Connection": "keep-alive",
    # "Content-Length": "120",
    # "Accept": "*/*",
    "Origin": "http://fanyi.baidu.com",
    "X-Requested-With": "XMLHttpRequest",
    "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36",
    # "Content-Type": "application/x-www-form-urlencoded; charset=UTF-8",
    "Referer": "http://fanyi.baidu.com/?aldtype=16047",
    # "Accept-Encoding": "gzip, deflate",
    "Accept-Language": "zh-CN,zh;q=0.9",
    "Cookie": "BAIDUID=D1620A70988D2694BE528E5CEFE5B5F3:FG=1; BIDUPSID=D1620A70988D2694BE528E5CEFE5B5F3; PSTM=1526524899; to_lang_often=%5B%7B%22value%22%3A%22en%22%2C%22text%22%3A%22%u82F1%u8BED%22%7D%2C%7B%22value%22%3A%22zh%22%2C%22text%22%3A%22%u4E2D%u6587%22%7D%5D; REALTIME_TRANS_SWITCH=1; FANYI_WORD_SWITCH=1; HISTORY_SWITCH=1; SOUND_SPD_SWITCH=1; SOUND_PREFER_SWITCH=1; from_lang_often=%5B%7B%22value%22%3A%22zh%22%2C%22text%22%3A%22%u4E2D%u6587%22%7D%2C%7B%22value%22%3A%22en%22%2C%22text%22%3A%22%u82F1%u8BED%22%7D%5D; BDORZ=FFFB88E999055A3F8A630C64834BD6D0; H_PS_PSSID=; locale=zh; Hm_lvt_64ecd82404c51e03dc91cb9e8c025574=1527210729,1527556520; Hm_lpvt_64ecd82404c51e03dc91cb9e8c025574=1527556520",
}

request = urllib.request.Request(url=post_url, headers=headers)

formdata = urllib.parse.urlencode(formdata).encode()

response = urllib.request.urlopen(request, formdata)

print(response.read().decode())

urllib.parse

parse.quote#將字符串類型轉化為unicode類型
parse.urlcode#傳入的數據是字典格式的，

urllib.response

impport urllib.response
#狀態碼
    urllib.response.status
#請求頭信息:

    urllib.response.headers

GPU云服務器云服務器 urllib urllib2 urllib模塊 asp教程教程

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/42164.html

爬蟲學習（2）： urllib教程

摘要：文章目錄一前言框架二網址請求打開網址超時設置錯誤抓取三更深請求打開網址請求頭添加鏈接解析四協議五萬能視頻下載一前言框架之前我一直沒想教大家，思考萬分，還是要補一下這個教程。對中文進行編碼。 ...

Cobub 2021-11-24 09:38 評論0 收藏0
python爬蟲入門（一）

摘要：想辦法區分爬蟲程序和正常的用戶。爬蟲是工具性程序，對速度和效率要求較高。生態圈完善，是最大對手。最要命的是爬蟲需要經常修改部分代碼。爬蟲分類通用爬蟲也就是百度搜狐等搜索引擎。原本是為測試來測試網站的，后來成了爬蟲工程師最喜愛的工具。一、爬蟲的基本知識： 1. 什么是爬蟲爬蟲的英文翻譯為spider或者crawder,意為蜘蛛或者爬行者，從字面意思我們可以體會到：爬蟲就是把自己當做蜘...

lentrue 2019-07-30 17:06 評論0 收藏0
爬蟲養成記 - 網絡下載器urllib2偽裝術

摘要：發送請求方不希望被跟蹤。主要用來將偽裝成一個正常的瀏覽器。該字典就是說是網絡協議名稱，是代理的。另外一般會明確指定資源存放的位置。意思是將現在提交的數據存放于下第篇。請求刪除某一個資源。向服務器提交數據。前一個教程我們涉及到了urllib2的一些高級應用。這一片文章我們來比較系統的介紹一下。該篇教程參考了靜覓的博文：http://cuiqingcai.com/954.html。寫這...

Darkgel 2019-07-25 11:24 評論0 收藏0
零基礎如何學爬蟲技術

摘要：楚江數據是專業的互聯網數據技術服務，現整理出零基礎如何學爬蟲技術以供學習，。本文來源知乎作者路人甲鏈接楚江數據提供網站數據采集和爬蟲軟件定制開發服務，服務范圍涵蓋社交網絡電子商務分類信息學術研究等。楚江數據是專業的互聯網數據技術服務，現整理出零基礎如何學爬蟲技術以供學習，http://www.chujiangdata.com。第一：Python爬蟲學習系列教程（來源于某博主：htt...

KunMinX 2019-07-25 11:29 評論0 收藏0
Python爬蟲使用瀏覽器的cookies：browsercookie

摘要：爬蟲和反爬蟲就是一個貓和老鼠的游戲，道高一尺魔高一丈，兩者反復糾纏。由于協議的無狀態性，登錄驗證都是通過傳遞來實現的。通過瀏覽器登錄一次，登錄信息的是就會被瀏覽器保存下來。模塊就是這樣一個從瀏覽器提取保存的的工具。 showImg(https://segmentfault.com/img/bVbsjnC?w=741&h=488); 很多用Python的人可能都寫過網絡爬蟲，自動化獲取網...

xuexiangjys 2019-07-31 10:22 評論0 收藏0