從0開始寫一個(gè)多線程爬蟲（1）

imccl 發(fā)布于2019-07-30 17:36 / 1415人閱讀

摘要：最近發(fā)現(xiàn)有個(gè)電影下載網(wǎng)站叫做比特大雄，下了幾部電影之后，打算寫個(gè)爬蟲把網(wǎng)站的電影信息都爬取下來。結(jié)果我就發(fā)現(xiàn)，速度太慢了因?yàn)闆Q定將其改成多線程爬蟲，歡迎繼續(xù)閱讀后續(xù)的此系列文章。

最近發(fā)現(xiàn)有個(gè)電影下載網(wǎng)站叫做比特大雄，下了幾部電影之后，打算寫個(gè)爬蟲把網(wǎng)站的電影信息都爬取下來。

一開始思路是這樣的，從首頁開始，解析首頁的所有鏈接，如果這個(gè)鏈接是電影詳情頁的鏈接，就將其html解析成想要的電影信息，如果不是電影詳情頁的鏈接，就將其加入到待爬取的URL list里，等待后續(xù)繼續(xù)從這個(gè)url的頁面爬取更多的鏈接。

爬蟲代碼Version 1

直接給出代碼如下（含注釋）：

import requests
import re
import time



# 網(wǎng)站首頁
base_url = r"https://www.btdx8.com/"

# 爬取到的新url會(huì)繼續(xù)加入到這個(gè)list里
total_url_list = [base_url]
# 存放已經(jīng)爬取過的url
used_url_list = []
# 存放是電影詳情頁的url
movie_url_list = []

# 從html文本中抓取url的正則表達(dá)式
url_reg = "href="(https://.*?)""
# 判斷url是不是電影詳情頁url的正則表達(dá)式
movie_url_reg = "https://www.btdx8.com/torrent/.*?html"

while 1:
    # 取出url list中的第一個(gè)url
    url = total_url_list.pop(0)
    print("Current Url:", url)
    print()
    try:
        # 獲取url的html
        text = requests.get(url).text
        # 從html中找到所有的url鏈接
        new_urls = re.findall(url_reg, text)
        # 如果是之前沒出現(xiàn)過的url，將其放入到total_url_list用于后續(xù)繼續(xù)爬取
        for n in new_urls:
            if n not in total_url_list + used_url_list + movie_url_list:
                total_url_list.append(n)
        used_url_list.append(url)
        # 如果當(dāng)前url是電影詳情頁的鏈接，將其存入movie_url_list
        if re.match(movie_url_reg, url):
            movie_url_list.append(url)
        print("Current url succeed")
        time.sleep(0.1)
    except:
        print("Current url failed")
    print("Total: %s, Used: %s, Movie: %s" % (len(total_url_list), len(used_url_list), len(movie_url_list)))
    # 如果total_url_list已經(jīng)為空了就停止循環(huán)
    if len(total_url_list) == 0:
        break
# 打印所有的movie url
print(movie_url_list)

這個(gè)代碼肯定是有些問題的，比如total_url_list可能永遠(yuǎn)都不為空，循環(huán)無法停止，不過可以先跑一跑看看情況。結(jié)果我就發(fā)現(xiàn)，速度太慢了！因?yàn)闆Q定將其改成多線程爬蟲，歡迎繼續(xù)閱讀后續(xù)的此系列文章。