資訊專欄INFORMATION COLUMN
摘要：爬蟲入門實戰(zhàn)一請求方式爬取肯德基配送地址解析，通過方式準(zhǔn)確發(fā)送信息是本次爬蟲實戰(zhàn)的重難點。
python爬蟲入門實戰(zhàn)（一）
post請求方式爬取肯德基配送地址
解析url，通過post方式準(zhǔn)確發(fā)送data信息是本次爬蟲實戰(zhàn)的重難點。代碼如下：
# 肯德基店鋪位置案例
"""
需求:根據(jù)用戶輸入的頁碼的起始位置，
把每頁的餐廳信息存儲到一個獨立的json文件中
"""
from urllib import request
from urllib import parse
import json
post_url = "http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname"
start_page = int(input("請輸入起始頁:"))
end_page = int(input("請輸入結(jié)束頁:"))
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36"
}
for page in range(start_page, end_page + 1):
p = str(page)
data = {
"cname": "北京",
"pid": "",
"pageIndex": p,
"pageSize": "10"
}
data = parse.urlencode(data).encode("utf-8")
req = request.Request(url=post_url,
data=data,
headers=headers)
response = request.urlopen(req)
content = response.read().decode("utf-8")
# 保存為本地json文件
filename = "data/KFC/{}.json".format(p)
json.dump(content, open(filename, "w", encoding="utf-8"),
ensure_ascii=False)
由于比較簡單，我就不多解釋了，，，關(guān)掉電腦，，，今天的修行到此結(jié)束。。。
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://specialneedsforspecialkids.com/yun/42001.html
摘要：楚江數(shù)據(jù)是專業(yè)的互聯(lián)網(wǎng)數(shù)據(jù)技術(shù)服務(wù)，現(xiàn)整理出零基礎(chǔ)如何學(xué)爬蟲技術(shù)以供學(xué)習(xí)，。本文來源知乎作者路人甲鏈接楚江數(shù)據(jù)提供網(wǎng)站數(shù)據(jù)采集和爬蟲軟件定制開發(fā)服務(wù)，服務(wù)范圍涵蓋社交網(wǎng)絡(luò)電子商務(wù)分類信息學(xué)術(shù)研究等。 楚江數(shù)據(jù)是專業(yè)的互聯(lián)網(wǎng)數(shù)據(jù)技術(shù)服務(wù)，現(xiàn)整理出零基礎(chǔ)如何學(xué)爬蟲技術(shù)以供學(xué)習(xí)，http://www.chujiangdata.com。 第一：Python爬蟲學(xué)習(xí)系列教程（來源于某博主：htt...
摘要：以下這些項目，你拿來學(xué)習(xí)學(xué)習(xí)練練手。當(dāng)你每個步驟都能做到很優(yōu)秀的時候，你應(yīng)該考慮如何組合這四個步驟，使你的爬蟲達(dá)到效率最高，也就是所謂的爬蟲策略問題，爬蟲策略學(xué)習(xí)不是一朝一夕的事情，建議多看看一些比較優(yōu)秀的爬蟲的設(shè)計方案，比如說。 （一）如何學(xué)習(xí)Python 學(xué)習(xí)Python大致可以分為以下幾個階段： 1.剛上手的時候肯定是先過一遍Python最基本的知識，比如說：變量、數(shù)據(jù)結(jié)構(gòu)、語法...
摘要：時間永遠(yuǎn)都過得那么快，一晃從年注冊，到現(xiàn)在已經(jīng)過去了年那些被我藏在收藏夾吃灰的文章，已經(jīng)太多了，是時候把他們整理一下了。那是因為收藏夾太亂，橡皮擦給設(shè)置私密了，不收拾不好看呀。 ...
?????? ???Hello，大家好我叫是Dream呀，一個有趣的Python博主，小白一枚，多多關(guān)照??? ???CSDN Python領(lǐng)域新星創(chuàng)作者，大二在讀，歡迎大家找我合作學(xué)習(xí) ?入門須知：這片樂園從不缺乏天才，努力才是你的最終入場券！??? ?最后，愿我們都能在看不到的地方閃閃發(fā)光，一起加油進(jìn)步??? ???一萬次悲傷，依然會有Dream，我一直在最溫暖的地方等你，唱的就是我！哈哈哈~...
閱讀 1349·2021-09-28 09:43
閱讀 4115·2021-09-04 16:41
閱讀 1917·2019-08-30 15:44
閱讀 3729·2019-08-30 15:43
閱讀 776·2019-08-30 14:21
閱讀 2037·2019-08-30 11:00
閱讀 3320·2019-08-29 16:20
閱讀 1923·2019-08-29 14:21
