Python：這是一個樸實無華的爬蟲教程，就是有點養眼

Ethan815 發布于2021-11-22 09:34 / 2247人閱讀

摘要：好難受，上次發了做游戲的居然沒人看，每天為了給你們寫啥，老夫心都操碎了真的是，今天來給大家爬一波短視頻網站吧，都是些很養眼的網站地址在代碼里面，大家用心一下就能看到了。

好難受，上次發了做游戲的居然沒人看，每天為了給你們寫啥，老夫心都操碎了~

真的是，今天來給大家爬一波短視頻網站吧，都是些很養眼的~

網站地址在代碼里面，大家用心一下就能看到了。

使用的軟件

python 3.8pycharm 2021.2

模塊

requestsparselreconcurrent.futurestimewarnings

不會安裝模塊看這篇：如何安裝python模塊, python模塊安裝失敗的原因以及解決辦法

知道你們不想看那些步驟，我直接上代碼吧

import requestsimport parselimport reimport concurrent.futuresimport timeimport warnings# 取消警告warnings.filterwarnings("ignore")def get_html(url):    """發送請求獲取網頁源代碼"""    html_data = requests.get(url=url, verify=False).text    return html_datadef parse_data_1(html_data):    """第一次解析, 拿到所有的詳情頁鏈接"""    selector = parsel.Selector(html_data)    url_list = selector.xpath("http://a[@class="meta-title"]/@href").getall()    return url_listdef parse_data_2(html_data):    """第二次解析, 獲取視頻鏈接"""    video_url = re.findall("url: "(.*?)",", html_data)[0]    return video_urldef save(video_url):    """保存視頻"""    title = video_url.split("/")[-1]    # 取鏈接當中的字段作為標題    video_data = requests.get(video_url, verify=False).content    # 發送網絡請求    with open(f"video/{title}", mode="wb") as f:        f.write(video_data)    print(title, "爬取成功!!!")start_time = time.time()url = "https://www.520mmtv.com/hd/rewu.html"# 1. 向目標網站發送請求html_data = get_html(url=url)# 2. 第一次解析數據 提取詳情頁鏈接url_list = parse_data_1(html_data=html_data)for info_url in url_list[:10]:    # 3. 向詳情頁發送請求    html_data_2 = get_html(url=info_url)    # 4. 第二次解析數據 提取視頻播放地址    video_url = parse_data_2(html_data=html_data_2)    # 5. 保存視頻    save(video_url=video_url)print("花費時間：", time.time() - start_time)

GPU云服務器云服務器這是一個這是一個登錄操作寫一個python爬蟲 python 爬蟲教程

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/124102.html

Python

摘要：最近看前端都展開了幾場而我大知乎最熱語言還沒有相關。有關書籍的介紹，大部分截取自是官方介紹。但從開始，標準庫為我們提供了模塊，它提供了和兩個類，實現了對和的進一步抽象，對編寫線程池進程池提供了直接的支持。《流暢的python》閱讀筆記《流暢的python》是一本適合python進階的書, 里面介紹的基本都是高級的python用法. 對于初學python的人來說, 基礎大概也就夠用了...

dailybird 2019-07-30 15:13 評論0 收藏0
工欲善其事必先利其器：用什么寫Python？

摘要：然而，每個人對編輯器的喜好各不相同，甚至引發出諸如神的編輯器與編輯器之神這種信仰之爭。我們用來寫的工具有兩類一種是被稱為的集成開發環境，它們為開發而生。但僅我上述提及的幾個其實也足夠用了。正如標題所說工欲善其事，必先利其器。通常來說，每個程序員都有自己趁手的兵器：代碼編輯器。你要是讓他換個開發環境，恐怕開發效率至少下降三成。然而，每個人對編輯器的喜好各不相同，甚至引發出諸如神的編...

Brenner 2019-07-31 11:16 評論0 收藏0
Python爬蟲入門教程 4-100 美空網未登錄圖片爬取

摘要：爬蟲分析首先，我們已經爬取到了多的用戶個人主頁，我通過鏈接拼接獲取到了在這個頁面中，咱們要找幾個核心的關鍵點，發現平面拍攝點擊進入的是圖片列表頁面。簡介上一篇寫的時間有點長了，接下來繼續把美空網的爬蟲寫完，這套教程中編寫的爬蟲在實際的工作中可能并不能給你增加多少有價值的技術點，因為它只是一套入門的教程，老鳥你自動繞過就可以了，或者帶帶我也行。爬蟲分析首先，我們已經爬取到了N多的...

netmou 2019-08-26 13:52 評論0 收藏0
Python爬蟲入門教程 4-100 美空網未登錄圖片爬取

摘要：爬蟲分析首先，我們已經爬取到了多的用戶個人主頁，我通過鏈接拼接獲取到了在這個頁面中，咱們要找幾個核心的關鍵點，發現平面拍攝點擊進入的是圖片列表頁面。簡介上一篇寫的時間有點長了，接下來繼續把美空網的爬蟲寫完，這套教程中編寫的爬蟲在實際的工作中可能并不能給你增加多少有價值的技術點，因為它只是一套入門的教程，老鳥你自動繞過就可以了，或者帶帶我也行。爬蟲分析首先，我們已經爬取到了N多的...

JowayYoung 2019-07-31 10:27 評論0 收藏0