摘要：行代碼實(shí)現(xiàn)爬取豆瓣電影排行榜代碼基于，用到的類庫有標(biāo)題文字通過偽造請求頭或設(shè)置代理等方式獲取頁面內(nèi)容，參考文檔對頁面進(jìn)行解析，提取數(shù)據(jù)，參考文檔版本中用于操作數(shù)據(jù)庫，中則使用，安裝用到的幾個(gè)類庫分析豆瓣電影頁面頁面分析爬取數(shù)據(jù)之前，我們都需

48行代碼實(shí)現(xiàn)Python3爬取豆瓣電影排行榜
代碼基于python3，用到的類庫有:

requests:通過偽造請求頭或設(shè)置代理等方式獲取頁面內(nèi)容，參考文檔
BeautifulSoup:對頁面進(jìn)行解析，提取數(shù)據(jù)，參考文檔
PyMySQL:python3版本中用于操作MySQL數(shù)據(jù)庫，python2中則使用mysqldb，Github

pip安裝用到的幾個(gè)類庫:

pip install requests
pip install bs4
pip install pymysql
分析豆瓣電影頁面
頁面分析:
爬取數(shù)據(jù)之前，我們都需要對頁面進(jìn)行分析，看我們可以從中提取到哪些數(shù)據(jù)，從下圖我們看到豆瓣電影top250的頁面結(jié)構(gòu)，我們可以從中提取出排行榜(rank)、電影名字(name)、電影詳情頁鏈接(link)、電影海報(bào)(poster)、電影評分(score)、電影評論(quote)等，我在圖中進(jìn)行了標(biāo)注

URL分析:
通過點(diǎn)擊分頁我們可以發(fā)現(xiàn)URL的格式為:https://movie.douban.com/top2...
其中num表示25的倍數(shù)的數(shù)字，最小是0也就是第一頁，最大為225也就是最后一頁，這可以作為我們爬取頁面的限制條件，filter為過濾條件這里可不用管

代碼
引入類庫:

import pymysql
import requests
from bs4 import BeautifulSoup
定義爬取鏈接，%d用作數(shù)字占位:

baseUrl = "https://movie.douban.com/top250?start=%d&filter="
定義爬取數(shù)據(jù)方法:

def get_movies(start):

url = baseUrl % start   # 拼接爬取鏈接
lists = []              # 存儲此頁面的電影數(shù)據(jù)
html = requests.get(url)    # requests請求頁面內(nèi)容，由于豆瓣沒有限制爬取，所以不用設(shè)置偽請求頭
soup = BeautifulSoup(html.content, "html.parser")   # BeautifulSoup解析頁面內(nèi)容
items = soup.find("ol", "grid_view").find_all("li") # 獲取所有的電影內(nèi)容
for i in items:
    movie = {}      # 臨時(shí)存取電影的數(shù)據(jù)
    movie["rank"] = i.find("em").text   # 電影排行榜
    movie["link"] = i.find("div","pic").find("a").get("href")   # 電影詳情頁鏈接
    movie["poster"] = i.find("div","pic").find("a").find("img").get("src")  # 電影海報(bào)地址
    movie["name"] = i.find("span", "title").text    # 電影名字
    movie["score"] = i.find("span", "rating_num").text  # 電影評分
    movie["quote"] = i.find("span", "inq").text if(i.find("span", "inq")) else "" # 某些電影沒有點(diǎn)評，沒有就設(shè)為空
    lists.append(movie) # 保存到返回?cái)?shù)組中
return lists

連接數(shù)據(jù)庫并創(chuàng)建數(shù)據(jù)表:

db = pymysql.connect(host="localhost",user="root",password="root",db="test",charset="utf8mb4")
cursor = db.cursor() # 創(chuàng)建一個(gè)游標(biāo)對象
cursor.execute("DROP TABLE IF EXISTS movies") # 如果表存在則刪除

createTab = """CREATE TABLE movies(

id INT NOT NULL AUTO_INCREMENT PRIMARY KEY,
name VARCHAR(20) NOT NULL,
rank VARCHAR(4) NOT NULL,
link VARCHAR(50) NOT NULL,
poster VARCHAR(100) NOT NULL,
score VARCHAR(4) NOT NULL,
quote VARCHAR(50)

)"""
cursor.execute(createTab) # 執(zhí)行創(chuàng)建數(shù)據(jù)表操作
......
db.close() # 關(guān)閉數(shù)據(jù)庫
將提取到的數(shù)據(jù)存儲到數(shù)據(jù)表中:

lists = get_movies(start) # 獲取提取到數(shù)據(jù)

for i in lists:
    # 插入數(shù)據(jù)到數(shù)據(jù)庫sql語句，%s用作字符串占位
    sql = "INSERT INTO `movies`(`name`,`rank`,`link`,`poster`,`score`,`quote`) VALUES(%s,%s,%s,%s,%s,%s)"
    try:
        cursor.execute(sql, (i["name"], i["rank"], i["link"], i["poster"], i["score"], i["quote"]))
        db.commit()
        print(i[0]+" is success")
    except:
        db.rollback()
start += 25

完整代碼:

import pymysql
import requests
from bs4 import BeautifulSoup
baseUrl = "https://movie.douban.com/top250?start=%d&filter="
def get_movies(start):

url = baseUrl % start
lists = []
html = requests.get(url)
soup = BeautifulSoup(html.content, "html.parser")
items = soup.find("ol", "grid_view").find_all("li")
for i in items:
    movie = {}
    movie["rank"] = i.find("em").text
    movie["link"] = i.find("div","pic").find("a").get("href")
    movie["poster"] = i.find("div","pic").find("a").find("img").get("src")
    movie["name"] = i.find("span", "title").text
    movie["score"] = i.find("span", "rating_num").text
    movie["quote"] = i.find("span", "inq").text if(i.find("span", "inq")) else ""
    lists.append(movie)
return lists

if name == "__main__":

db = pymysql.connect(host="localhost",user="root",password="root",db="test",charset="utf8mb4")