情景再現(xiàn)

今日天氣尚好，女友忽然欲買文胸，但不知何色更美，遂命吾剖析何色買者益眾，為點(diǎn)議，事后而獎勵之。

本文關(guān)鍵詞

協(xié)程并發(fā)?、IP被封?、IP代理?、代理被封?、一種植物?

挑個“軟柿子”

打開京東，直接搜 【文胸】，挑個評論最多的

進(jìn)入詳情頁，往下滑，可以看到商品介紹啥的，同時(shí)商品評價(jià)也在這里。

接下來重頭戲，F12 打開 開發(fā)者工具，選擇 Network，然后點(diǎn)擊全部評價(jià)，抓取數(shù)據(jù)包。

將 url 打開，發(fā)現(xiàn)確實(shí)是評論數(shù)據(jù)。

單頁爬取

那我們先寫個小 demo 來嘗試爬取這頁的代碼，看看有沒有什么問題。

import requestsimport pandas as pdheaders = {    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.54 Safari/537.36"}params = {    "callback":"fetchJSON_comment98",    "productId":"35152509650",    "score":"0",    "sortType":"6",    "page": "5",    "pageSize":"10",    "isShadowSku":"0",    "rid":"0",    "fold":"1"}url = "https://club.jd.com/comment/productPageComments.action?"page_text = requests.get(url=url, headers=headers, params=params).textpage_text

數(shù)據(jù)處理

數(shù)據(jù)是獲取了，但前面多了一些沒用的字符（后面也有），很明顯不能直接轉(zhuǎn)成 json 格式，需要處理一下。

page_text = page_text[20: len(page_text) - 2]data = json.loads(page_text)data

現(xiàn)在數(shù)據(jù)格式處理好了，可以上手解析數(shù)據(jù)，提取我們所需要的部分。這里我們只提取 id（評論id）、color（產(chǎn)品顏色）、comment（評價(jià)）、time（評價(jià)時(shí)間）。

import pandas as pddf = pd.DataFrame({"id": [],                   "color": [],                   "comment": [],                   "time": []})for info in data["comments"]:    df = df.append({"id": info["id"],                    "color": info["productColor"],                    "comment": info["content"],                    "time": info["creationTime"]},                   ignore_index=True)df

翻頁操作

那么接下來就要尋找翻頁的關(guān)鍵了，下面用同樣的方法獲取第二頁、第三頁的url，進(jìn)行對比。

簡單分析一下，page 字段是頁數(shù)，翻頁會用到，值得注意的是 sortType，字面意思是排序類型，猜測排序方式可能是：熱度、時(shí)間等。經(jīng)過測試發(fā)現(xiàn) sortType=5 肯定不是按時(shí)間排序的，應(yīng)該是熱度，我們要獲取按時(shí)間排序的，這樣后期比較好處理，然后試了幾個值，最后確定當(dāng) sortType=6 時(shí)是按評價(jià)時(shí)間排序。圖中最后還有個 rid=0 ，不清楚什么作用，我爬取兩個相同的url（一個加 rid 一個不加），測試結(jié)果是相同的，所以不用管它。

擼代碼

先寫爬取結(jié)果：開始想爬 10000 條評價(jià)，結(jié)果請求過多IP涼了，從IP池整了丶代理，也沒頂住，拼死拼活整了1000條，時(shí)間不夠，如果時(shí)間和IP充足，隨便爬。經(jīng)過測試發(fā)現(xiàn)這個IP封鎖時(shí)間不會超過一天，第二天我跑了一下也有數(shù)據(jù)。下面看看主要的代碼。

主調(diào)度函數(shù)

設(shè)置爬取的 url 列表，windows 環(huán)境下記得限制并發(fā)量，不然報(bào)錯，將爬取的任務(wù)添加到 tasks 中，掛起任務(wù)。

async def main(loop):    # 獲取url列表    page_list = list(range(0, 1000))    # 限制并發(fā)量    semaphore = asyncio.Semaphore(500)    # 創(chuàng)建任務(wù)對象并添加到任務(wù)列表中    tasks = [loop.create_task(get_page_text(page, semaphore)) for page in page_list]    # 掛起任務(wù)列表    await asyncio.wait(tasks)

頁面抓取函數(shù)

抓取方法和上面講述的基本一致，只不過換成 aiohttp 進(jìn)行請求，對于SSL證書的驗(yàn)證也已設(shè)置。程序執(zhí)行后直接進(jìn)行解析保存。

async def get_page_text(page, semaphore):    async with semaphore:        headers = {            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.54 Safari/537.36"        }        params = {            "callback": "fetchJSON_comment98",            "productId": "35152509650",            "score": "0",            "sortType": "6",            "page": f"{page}",            "pageSize": "10",            "isShadowSku": "0",            # "rid": "0",            "fold": "1"        }        url = "https://club.jd.com/comment/productPageComments.action?"        async with aiohttp.ClientSession(connector=aiohttp.TCPConnector(ssl=False), trust_env=True) as session:            while True:                try:                    async with session.get(url=url, proxy="http://" + choice(proxy_list), headers=headers, params=params,                                           timeout=4) as response:                        # 遇到IO請求掛起當(dāng)前任務(wù)，等IO操作完成執(zhí)行之后的代碼，當(dāng)協(xié)程掛起時(shí)，事件循環(huán)可以去執(zhí)行其他任務(wù)。                        page_text = await response.text()                        # 未成功獲取數(shù)據(jù)時(shí)，更換ip繼續(xù)請求                        if response.status != 200:                            continue                        print(f"第{page}頁爬取完成!")                        break                except Exception as e:                    print(e)                    # 捕獲異常，繼續(xù)請求                    continue        return parse_page_text(page_text)

解析保存函數(shù)

將 json 數(shù)據(jù)解析以追加的形式保存到 csv 中。

def parse_page_text(page_text):    page_text = page_text[20: len(page_text) - 2]    data = json.loads(page_text)    df = pd.DataFrame({"id": [],                       "color": [],                       "comment": [],                       "time": []})    for info in data["comments"]:        df = df.append({"id": info["id"],                        "color": info["productColor"],                        "comment": info["content"],                        "time": info["creationTime"]},                       ignore_index=True)    header = False if Path.exists(Path("評價(jià)信息.csv")) else True    df.to_csv("評價(jià)信息.csv", index=False, mode="a", header=header)    print("已保存")

可視化

顏色分布

排名前三分別是灰粉色、黑色、裸感膚色，多的不說，自己體會哈。

評價(jià)詞云圖

可以看出評價(jià)的關(guān)鍵詞大多是對上身感覺的一些描述，穿著舒服當(dāng)然是第一位的~

完結(jié)撒花，該向女朋友匯報(bào)工作了~

??往期精彩，不容錯過??

總結(jié)篇
??兩萬字，50個pandas高頻操作【圖文并茂，值得收藏】??
??吐血總結(jié)《Mysql從入門到入魔》，圖文并茂（建議收藏）??


工具篇
??Python實(shí)用小工具之制作酷炫二維碼（有界面、附源碼）??
??Python實(shí)用工具之制作證件照（有界面、附源碼）??
??女朋友桌面文件雜亂無章？氣得我用Python給她做了一個文件整理工具??

??源碼獲取方式??

別忘記點(diǎn)贊哦~