摘要：蜂鳥網(wǎng)圖片啰嗦兩句前幾天的教程內(nèi)容量都比較大，今天寫一個相對簡單的，爬取的還是蜂鳥，依舊采用希望你喜歡爬取頁面本篇教程還是基于學(xué)習(xí)的目的，為啥選擇蜂鳥，沒辦法，我瞎選的。

前幾天的教程內(nèi)容量都比較大，今天寫一個相對簡單的，爬取的還是蜂鳥，依舊采用aiohttp 希望你喜歡
爬取頁面https://tu.fengniao.com/15/ 本篇教程還是基于學(xué)習(xí)的目的，為啥選擇蜂鳥，沒辦法，我瞎選的。

一頓熟悉的操作之后，我找到了下面的鏈接
https://tu.fengniao.com/ajax/ajaxTuPicList.php?page=2&tagsId=15&action=getPicLists

這個鏈接返回的是JSON格式的數(shù)據(jù)

page =2頁碼，那么從1開始進行循環(huán)就好了

tags=15 標(biāo)簽名稱，15是兒童，13是美女，6391是私房照，只能幫助你到這了，畢竟我這是專業(yè)博客 ヾ(?°?°?)??

action=getPicLists接口地址，不變的地方

import aiohttp
import asyncio

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36",
           "X-Requested-With": "XMLHttpRequest",
           "Accept": "*/*"}

async def get_source(url):
    print("正在操作:{}".format(url))
    conn = aiohttp.TCPConnector(verify_ssl=False)  # 防止ssl報錯,其中一種寫法
    async with aiohttp.ClientSession(connector=conn) as session:  # 創(chuàng)建session
        async with session.get(url, headers=headers, timeout=10) as response:  # 獲得網(wǎng)絡(luò)請求
            if response.status == 200:  # 判斷返回的請求碼
                source = await response.text()  # 使用await關(guān)鍵字獲取返回結(jié)果
                print(source)
            else:
                print("網(wǎng)頁訪問失敗")


if __name__=="__main__":
        url_format = "https://tu.fengniao.com/ajax/ajaxTuPicList.php?page={}&tagsId=15&action=getPicLists"
        full_urllist= [url_format.format(i) for i in range(1,21)]
        event_loop = asyncio.get_event_loop()   #創(chuàng)建事件循環(huán)
        tasks = [get_source(url) for url in full_urllist]
        results = event_loop.run_until_complete(asyncio.wait(tasks))   #等待任務(wù)結(jié)束

上述代碼在執(zhí)行過程中發(fā)現(xiàn)，順發(fā)了20個請求，這樣子很容易就被人家判定為爬蟲，可能會被封IP或者賬號，我們需要對并發(fā)量進行一下控制。
使Semaphore控制同時的并發(fā)量

import aiohttp
import asyncio
# 代碼在上面
sema = asyncio.Semaphore(3)
async def get_source(url):
    # 代碼在上面
    #######################
# 為避免爬蟲一次性請求次數(shù)太多，控制一下
async def x_get_source(url):
    with(await sema):
        await get_source(url)

if __name__=="__main__":
        url_format = "https://tu.fengniao.com/ajax/ajaxTuPicList.php?page={}&tagsId=15&action=getPicLists"
        full_urllist= [url_format.format(i) for i in range(1,21)]
        event_loop = asyncio.get_event_loop()   #創(chuàng)建事件循環(huán)
        tasks = [x_get_source(url) for url in full_urllist]
        results = event_loop.run_until_complete(asyncio.wait(tasks))   #等待任務(wù)結(jié)束

走一波代碼，出現(xiàn)下面的結(jié)果，就可以啦！

在補充上圖片下載的代碼

import aiohttp
import asyncio

import json

# 代碼去上面找
async def get_source(url):
    print("正在操作:{}".format(url))
    conn = aiohttp.TCPConnector(verify_ssl=False)  # 防止ssl報錯,其中一種寫法
    async with aiohttp.ClientSession(connector=conn) as session:  # 創(chuàng)建session
        async with session.get(url, headers=headers, timeout=10) as response:  # 獲得網(wǎng)絡(luò)請求
            if response.status == 200:  # 判斷返回的請求碼
                source = await response.text()  # 使用await關(guān)鍵字獲取返回結(jié)果
                ############################################################
                data = json.loads(source)
                photos = data["photos"]["photo"]
                for p in photos:
                    img = p["src"].split("?")[0]
                    try:
                        async with session.get(img, headers=headers) as img_res:
                            imgcode = await img_res.read()
                            with open("photos/{}".format(img.split("/")[-1]), "wb") as f:
                                f.write(imgcode)
                                f.close()
                    except Exception as e:
                        print(e)
                ############################################################
            else:
                print("網(wǎng)頁訪問失敗")


# 為避免爬蟲一次性請求次數(shù)太多，控制一下
async def x_get_source(url):
    with(await sema):
        await get_source(url)


if __name__=="__main__":
        #### 代碼去上面找

圖片下載成功，一個小爬蟲，我們又寫完了，美滋滋