嘗試用Python3爬取網頁圖片的過程記錄

alin 發布于2019-07-31 11:12 / 400人閱讀

摘要：上有一個關于下載百度貼吧里的美女圖片的練習題，最近正好在學爬蟲相關的知識，拿來練練手。這是我的目標網頁。

Github上有一個關于下載百度貼吧里的美女圖片的練習題，最近正好在學爬蟲相關的知識，拿來練練手。
這是我的目標網頁。
最開始的時候我在網上找到一個類似的案例，代碼如下圖：

稍作修改，運行之后得到七十多張圖片，結果一看接近一半是用戶頭像～
方法太過簡單粗暴，決定使用美麗的湯——BeautifulSoup重寫一下（這湯真香）
觀察了一下頁面的源代碼，發現所有用戶發的圖片都是class=“BDE_Image”的，這樣就可以區分頭像和帖子里的圖片了，隨便寫寫的代碼：

from urllib.request import urlretrieve
from urllib.request import urlopen
from bs4 import BeautifulSoup

def get_image(url):
    html = urlopen(url).read().decode("utf-8")
    bsObj = BeautifulSoup(html, "lxml")
    myimg = bsObj.find_all("img", class_="BDE_Image")
    num = 1
    for img in myimg:
        link = img.get("src")
        pic_name = str(num) + ".jpg"
        urlretrieve(link, pic_name)
        print("Success!" + pic_name)
        num += 1

    return None

url = "http://tieba.baidu.com/p/2166231880"
get_image(url)

這次得到了49張圖片

代碼上傳到了我的Github

交流群：435414286

云服務器 GPU云服務器 python爬取網頁圖片爬取網頁云盾爬取網頁 java網頁爬取數據

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/44783.html

Python3網絡爬蟲實戰---36、分析Ajax爬取今日頭條街拍美圖

摘要：上一篇文章網絡爬蟲實戰數據爬取下一篇文章網絡爬蟲實戰動態渲染頁面抓取本節我們以今日頭條為例來嘗試通過分析請求來抓取網頁數據的方法，我們這次要抓取的目標是今日頭條的街拍美圖，抓取完成之后將每組圖片分文件夾下載到本地保存下來。上一篇文章：Python3網絡爬蟲實戰---35、 Ajax數據爬取下一篇文章：Python3網絡爬蟲實戰---37、動態渲染頁面抓取:Selenium 本節我們...

Leck1e 2019-07-31 10:36 評論0 收藏0
首次公開，整理12年積累的博客收藏夾，零距離展示《收藏夾吃灰》系列博客

摘要：時間永遠都過得那么快，一晃從年注冊，到現在已經過去了年那些被我藏在收藏夾吃灰的文章，已經太多了，是時候把他們整理一下了。那是因為收藏夾太亂，橡皮擦給設置私密了，不收拾不好看呀。 ...

Harriet666 2021-09-10 10:51 評論0 收藏0
爬蟲 - 收藏集 - 掘金

摘要：在這之前，還是有必要對一些概念超輕量級反爬蟲方案后端掘金前言爬蟲和反爬蟲日益成為每家公司的標配系統。爬蟲修煉之道——從網頁中提取結構化數據并保存（以爬取糗百文本板塊所有糗事為例） - 后端 - 掘金歡迎大家關注我的專題：爬蟲修煉之道上篇爬蟲修煉之道——編寫一個爬取多頁面的網絡爬蟲主要講解了如何使用python編寫一個可以下載多頁面的爬蟲，如何將相對URL轉為絕對URL，如何限速，...

1fe1se 2019-07-31 10:58 評論0 收藏0
Python3網絡爬蟲實戰---35、 Ajax數據爬取

摘要：所以說，我們所看到的微博頁面的真實數據并不是最原始的頁面返回的，而是后來執行后再次向后臺發送了請求，拿到數據后再進一步渲染出來的。結果提取仍然是拿微博為例，我們接下來用來模擬這些請求，把馬云發過的微博爬取下來。上一篇文章：Python3網絡爬蟲實戰---34、數據存儲：非關系型數據庫存儲:Redis下一篇文章：Python3網絡爬蟲實戰---36、分析Ajax爬取今日頭條街拍美圖 ...

Thanatos 2019-07-31 10:36 評論0 收藏0
Python3網絡爬蟲實戰---19、代理基本原理

摘要：所以使用代理隱藏真實的，讓服務器誤以為是代理服務器的在請求自己。參考來源由于涉及到一些專業名詞知識，本節的部分內容參考來源如下代理服務器維基百科代理百度百科上一篇文章網絡爬蟲實戰和下一篇文章網絡爬蟲實戰使用發送請求上一篇文章：Python3網絡爬蟲實戰---18、Session和Cookies下一篇文章：Python3網絡爬蟲實戰---20、使用Urllib：發送請求我們在做爬蟲...

gougoujiang 2019-07-31 10:34 評論0 收藏0