摘要:蜂鳥網圖片簡介國慶假日結束了,新的工作又開始了,今天我們繼續(xù)爬取一個網站,這個網站為,蜂鳥一個攝影大牛聚集的地方,本教程請用來學習,不要用于商業(yè)目的,不出意外,蜂鳥是有版權保護的網站。
1. 蜂鳥網圖片簡介
國慶假日結束了,新的工作又開始了,今天我們繼續(xù)爬取一個網站,這個網站為 http://image.fengniao.com/ ,蜂鳥一個攝影大牛聚集的地方,本教程請用來學習,不要用于商業(yè)目的,不出意外,蜂鳥是有版權保護的網站。
2. 蜂鳥網圖片網站分析第一步,分析要爬取的網站有沒有方法爬取,打開頁面,找分頁
http://image.fengniao.com/index.php?action=getList&class_id=192&sub_classid=0&page=1¬_in_id=5352384,5352410 http://image.fengniao.com/index.php?action=getList&class_id=192&sub_classid=0&page=2¬_in_id=5352384,5352410 http://image.fengniao.com/index.php?action=getList&class_id=192&sub_classid=0&page=3¬_in_id=5352384,5352410 http://image.fengniao.com/index.php?action=getList&class_id=192&sub_classid=0&page=4¬_in_id=5352384,5352410
上面的頁面發(fā)現一個關鍵的參數page=1這個就是頁碼了,但是另一個比較頭疼的問題是,他沒有最后的頁碼,這樣我們沒有辦法確定循環(huán)次數,所以后面的代碼編寫中,只能使用while了
這個地址返回的是JSON格式的數據,這個對爬蟲來說,非常友好!省的我們用正則表達式分析了。
分析這個頁面的頭文件,查閱是否有反爬措施
發(fā)現除了HOST和User-Agent以外,沒有特殊的點,大網站就是任性,沒啥反爬,可能壓根不在乎這個事情。
第二步,分析圖片詳情頁面,在我們上面獲取到的JSON中,找到關鍵地址
關鍵地址打開之后,這個地方有一個比較騷的操作了,上面圖片中標注的URL選的不好,恰好是一個文章了,我們要的是組圖,重新提供一個新鏈接 http://image.fengniao.com/slide/535/5352130_1.html#p=1
打開頁面,你可能直接去找規(guī)律了,找到下面的一堆鏈接,但是這個操作就有點復雜了,我們查閱上述頁面的源碼
http://image.fengniao.com/slide/535/5352130_1.html#p=1 http://image.fengniao.com/slide/535/5352130_1.html#p=2 http://image.fengniao.com/slide/535/5352130_1.html#p=3 ....
網頁源碼中發(fā)現了,這么一塊區(qū)域
大膽的猜測一下,這個應該是圖片的JSON,只是他打印在了HTML中,我們只需要用正則表達式進行一下匹配就好了,匹配到之后,然后進行下載。
第三步,開始擼代碼。
3. 蜂鳥網圖片寫代碼from http_help import R # 這個文件自己去上篇博客找,或者去github找 import threading import time import json import re img_list = [] imgs_lock = threading.Lock() #圖片操作鎖 # 生產者類 class Product(threading.Thread): def __init__(self): threading.Thread.__init__(self) self.__headers = {"Referer":"http://image.fengniao.com/", "Host": "image.fengniao.com", "X-Requested-With":"XMLHttpRequest" } #鏈接模板 self.__start = "http://image.fengniao.com/index.php?action=getList&class_id=192&sub_classid=0&page={}¬_in_id={}" self.__res = R(headers=self.__headers) def run(self): # 因為不知道循環(huán)次數,所有采用while循環(huán) index = 2 #起始頁碼設置為1 not_in = "5352384,5352410" while True: url = self.__start.format(index,not_in) print("開始操作:{}".format(url)) index += 1 content = self.__res.get_content(url,charset="gbk") if content is None: print("數據可能已經沒有了====") continue time.sleep(3) # 睡眠3秒 json_content = json.loads(content) if json_content["status"] == 1: for item in json_content["data"]: title = item["title"] child_url = item["url"] # 獲取到鏈接之后 img_content = self.__res.get_content(child_url,charset="gbk") pattern = re.compile(""pic_url_1920_b":"(.*?)"") imgs_json = pattern.findall(img_content) if len(imgs_json) > 0: if imgs_lock.acquire(): img_list.append({"title":title,"urls":imgs_json}) # 這個地方,我用的是字典+列表的方式,主要是想后面生成文件夾用,你可以進行改造 imgs_lock.release()
上面的鏈接已經生成,下面就是下載圖片了,也非常簡單
# 消費者 class Consumer(threading.Thread): def __init__(self): threading.Thread.__init__(self) self.__res = R() def run(self): while True: if len(img_list) <= 0: continue # 進入下一次循環(huán) if imgs_lock.acquire(): data = img_list[0] del img_list[0] # 刪除第一項 imgs_lock.release() urls =[url.replace("","") for url in data["urls"]] # 創(chuàng)建文件目錄 for item_url in urls: try: file = self.__res.get_file(item_url) # 記得在項目根目錄先把fengniaos文件夾創(chuàng)建完畢 with open("./fengniaos/{}".format(str(time.time())+".jpg"), "wb+") as f: f.write(file) except Exception as e: print(e)
代碼走起,結果
文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規(guī)行為,您可以聯系管理員刪除。
轉載請注明本文地址:http://specialneedsforspecialkids.com/yun/19550.html
摘要:蜂鳥網圖片簡介國慶假日結束了,新的工作又開始了,今天我們繼續(xù)爬取一個網站,這個網站為,蜂鳥一個攝影大牛聚集的地方,本教程請用來學習,不要用于商業(yè)目的,不出意外,蜂鳥是有版權保護的網站。 1. 蜂鳥網圖片簡介 國慶假日結束了,新的工作又開始了,今天我們繼續(xù)爬取一個網站,這個網站為 http://image.fengniao.com/ ,蜂鳥一個攝影大牛聚集的地方,本教程請用來學習,不要用...
摘要:蜂鳥網圖片簡介國慶假日結束了,新的工作又開始了,今天我們繼續(xù)爬取一個網站,這個網站為,蜂鳥一個攝影大牛聚集的地方,本教程請用來學習,不要用于商業(yè)目的,不出意外,蜂鳥是有版權保護的網站。 1. 蜂鳥網圖片簡介 國慶假日結束了,新的工作又開始了,今天我們繼續(xù)爬取一個網站,這個網站為 http://image.fengniao.com/ ,蜂鳥一個攝影大牛聚集的地方,本教程請用來學習,不要用...
閱讀 2612·2021-11-16 11:40
閱讀 3409·2021-11-08 13:26
閱讀 871·2021-10-28 09:32
閱讀 3530·2021-09-13 10:26
閱讀 803·2019-08-30 15:55
閱讀 777·2019-08-30 15:44
閱讀 1908·2019-08-30 15:44
閱讀 1756·2019-08-30 13:48