国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

Python 爬蟲入門(二)——爬取妹子圖

cppprimer / 668人閱讀

摘要:爬蟲入門聽說你寫代碼沒動力本文就給你動力,爬取妹子圖。分別進入每個套圖中去,下載相應的圖片。最大線程數設置為正在下載頁好了,之后運行,我們的爬蟲就會孜孜不倦的為我們下載漂亮妹子啦。

Python 爬蟲入門

聽說你寫代碼沒動力?本文就給你動力,爬取妹子圖。如果這也沒動力那就沒救了。

GitHub 地址: https://github.com/injetlee/Python/blob/master/%E7%88%AC%E8%99%AB%E9%9B%86%E5%90%88/meizitu.py

公眾號:【智能制造社區】。歡迎關注,分享智能制造與編程那些事。

爬蟲成果

當你運行代碼后,文件夾就會越來越多,如果爬完的話會有2000多個文件夾,20000多張圖片。不過會很耗時間,可以在最后的代碼設置爬取頁碼范圍。

本文目標

熟悉 Requests 庫,Beautiful Soup 庫

熟悉多線程爬取

送福利,妹子圖

網站結構

我們從 http://meizitu.com/a/more_1.html 這個鏈接進去,界面如圖一所示

圖一:

可以看到是一組一組的套圖,點擊任何一組圖片會進入到詳情界面,如圖二所示

圖二:

可以看到圖片是依次排開的,一般會有十張左右的圖片。

實現思路

看了界面的結構,那么我們的思路就有了。

構造 url 鏈接,去請求圖一所示的套圖列表界面,拿到每一個頁面中的套圖列表。

分別進入每個套圖中去,下載相應的圖片。

代碼說明

下載界面的函數,利用 Requests 很方便實現。

def download_page(url):
    """
    用于下載頁面
    """
    headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0"}
    r = requests.get(url, headers=headers)
    r.encoding = "gb2312"
    return r.text

獲取圖一所示的所有套圖列表,函數中 link 表示套圖的鏈接,text表示套圖的名字

def get_pic_list(html):
    """
    獲取每個頁面的套圖列表,之后循環調用get_pic函數獲取圖片
    """
    soup = BeautifulSoup(html, "html.parser")
    pic_list = soup.find_all("li", class_="wp-item")
    for i in pic_list:
        a_tag = i.find("h3", class_="tit").find("a")
        link = a_tag.get("href")  # 套圖鏈接
        text = a_tag.get_text()   # 套圖名字
        get_pic(link, text)

傳入上一步中獲取到的套圖鏈接及套圖名字,獲取每組套圖里面的圖片,并保存,我在代碼中注釋了。

def get_pic(link, text):
    """
    獲取當前頁面的圖片,并保存
    """
    html = download_page(link)  # 下載界面
    soup = BeautifulSoup(html, "html.parser")
    pic_list = soup.find("div", id="picture").find_all("img")  # 找到界面所有圖片
    headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0"}
    create_dir("pic/{}".format(text))
    for i in pic_list:
        pic_link = i.get("src")  # 拿到圖片的具體 url
        r = requests.get(pic_link, headers=headers)  # 下載圖片,之后保存到文件
        with open("pic/{}/{}".format(text, pic_link.split("/")[-1]), "wb") as f:
            f.write(r.content)
            time.sleep(1)

完整代碼

完整代碼如下,包括了創建文件夾,利用多線程爬取,我設置的是5個線程,可以根據自己機器自己來設置一下。

import requests
import os
import time
import threading
from bs4 import BeautifulSoup


def download_page(url):
    """
    用于下載頁面
    """
    headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0"}
    r = requests.get(url, headers=headers)
    r.encoding = "gb2312"
    return r.text


def get_pic_list(html):
    """
    獲取每個頁面的套圖列表,之后循環調用get_pic函數獲取圖片
    """
    soup = BeautifulSoup(html, "html.parser")
    pic_list = soup.find_all("li", class_="wp-item")
    for i in pic_list:
        a_tag = i.find("h3", class_="tit").find("a")
        link = a_tag.get("href")
        text = a_tag.get_text()
        get_pic(link, text)


def get_pic(link, text):
    """
    獲取當前頁面的圖片,并保存
    """
    html = download_page(link)  # 下載界面
    soup = BeautifulSoup(html, "html.parser")
    pic_list = soup.find("div", id="picture").find_all("img")  # 找到界面所有圖片
    headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0"}
    create_dir("pic/{}".format(text))
    for i in pic_list:
        pic_link = i.get("src")  # 拿到圖片的具體 url
        r = requests.get(pic_link, headers=headers)  # 下載圖片,之后保存到文件
        with open("pic/{}/{}".format(text, pic_link.split("/")[-1]), "wb") as f:
            f.write(r.content)
            time.sleep(1)   # 休息一下,不要給網站太大壓力,避免被封


def create_dir(name):
    if not os.path.exists(name):
        os.makedirs(name)


def execute(url):
    page_html = download_page(url)
    get_pic_list(page_html)


def main():
    create_dir("pic")
    queue = [i for i in range(1, 72)]   # 構造 url 鏈接 頁碼。
    threads = []
    while len(queue) > 0:
        for thread in threads:
            if not thread.is_alive():
                threads.remove(thread)
        while len(threads) < 5 and len(queue) > 0:   # 最大線程數設置為 5
            cur_page = queue.pop(0)
            url = "http://meizitu.com/a/more_{}.html".format(cur_page)
            thread = threading.Thread(target=execute, args=(url,))
            thread.setDaemon(True)
            thread.start()
            print("{}正在下載{}頁".format(threading.current_thread().name, cur_page))
            threads.append(thread)


if __name__ == "__main__":
    main()

好了,之后運行,我們的爬蟲就會孜孜不倦的為我們下載漂亮妹子啦。

文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。

轉載請注明本文地址:http://specialneedsforspecialkids.com/yun/42072.html

相關文章

  • 首次公開,整理12年積累的博客收藏夾,零距離展示《收藏夾吃灰》系列博客

    摘要:時間永遠都過得那么快,一晃從年注冊,到現在已經過去了年那些被我藏在收藏夾吃灰的文章,已經太多了,是時候把他們整理一下了。那是因為收藏夾太亂,橡皮擦給設置私密了,不收拾不好看呀。 ...

    Harriet666 評論0 收藏0
  • Python爬蟲入門教程 2-100 妹子網站爬取

    摘要:為了寫好爬蟲,我們需要準備一個火狐瀏覽器,還需要準備抓包工具,抓包工具,我使用的是自帶的,加上,這兩款軟件的安裝和使用,建議你還是學習一下,后面我們應該會用到。 妹子圖網站----前言 從今天開始就要擼起袖子,直接寫Python爬蟲了,學習語言最好的辦法就是有目的的進行,所以,接下來我將用10+篇的博客,寫爬圖片這一件事情。希望可以做好。 為了寫好爬蟲,我們需要準備一個火狐瀏覽器,還需...

    zqhxuyuan 評論0 收藏0
  • Python爬蟲入門教程 2-100 妹子網站爬取

    摘要:為了寫好爬蟲,我們需要準備一個火狐瀏覽器,還需要準備抓包工具,抓包工具,我使用的是自帶的,加上,這兩款軟件的安裝和使用,建議你還是學習一下,后面我們應該會用到。 妹子圖網站----前言 從今天開始就要擼起袖子,直接寫Python爬蟲了,學習語言最好的辦法就是有目的的進行,所以,接下來我將用10+篇的博客,寫爬圖片這一件事情。希望可以做好。 為了寫好爬蟲,我們需要準備一個火狐瀏覽器,還需...

    stackfing 評論0 收藏0
  • Python爬蟲基礎:爬取妹子片并保存到本地

    摘要:作為爬蟲的入門教程,我想有必要來個爬蟲程序壓壓驚,爬取性感美女的圖片,然后保存到自己的電腦里面。爽歪歪先看下效果吧,這是我把爬取的圖片自動存儲到的文件夾里邊爬蟲三步驟抓取,分析,存儲。相關文章入門基礎有趣的教程 作為 Python 爬蟲的入門教程,我想有必要來個爬蟲程序壓壓驚,爬取性感美女的圖片,然后保存到自己的電腦里面。爽歪歪~ 先看下效果吧,這是我把爬取的圖片自動存儲到的文件夾里邊...

    happyfish 評論0 收藏0

發表評論

0條評論

cppprimer

|高級講師

TA的文章

閱讀更多
最新活動
閱讀需要支付1元查看
<