摘要：爬取網易云音樂的歌單。打開歌單的，然后用提取播放數。值得強調的是，不要將動態網頁和頁面內容是否有動感混為一談。它會把網站加載到內存并執行頁面上的，但是它不會向用戶展示網頁的圖形界面。

爬取網易云音樂的歌單。

打開歌單的url: http://music.163.com/#/discov...，然后用lxml.html提取播放數3715。結果表明，我們什么也沒提取到。難道我們打開了一個假的網頁？

動態網頁：所謂的動態網頁，是指跟靜態網頁相對的一種網頁編程技術。靜態網頁，隨著html代碼的生成，頁面的內容和顯示效果就基本上不會發生變化了——除非你修改頁面代碼。而動態網頁則不然，頁面代碼雖然沒有變，但是顯示的內容卻是可以隨著時間、環境或者數據庫操作的結果而發生改變的。

值得強調的是，不要將動態網頁和頁面內容是否有動感混為一談。這里說的動態網頁，與網頁上的各種動畫、滾動字幕等視覺上的動態效果沒有直接關系，動態網頁也可以是純文字內容的，也可以是包含各種動畫的內容，這些只是網頁具體內容的表現形式，無論網頁是否具有動態效果，只要是采用了動態網站技術生成的網頁都可以稱為動態網頁。

現在我們明白了，這是一個動態網頁，我們得到它的時候，歌單還沒請求到呢，當然什么都提取不出來！

我們之前的技術不能執行那些讓頁面產生各種神奇效果的JavaScript 代碼。如果網站的HTML頁面沒有運行JavaScript，就可能和你在瀏覽器里看到的樣子完全不同，因為瀏覽器可以正確地執行JavaScript。用Python 解決這個問題只有兩種途徑：直接從JavaScript 代碼里采集內容，或者用Python 的第三方庫運行JavaScript，直接采集你在瀏覽器里看到的頁面。我們當然選擇后者。今天第一課，不深究原理，先簡單粗暴的實現我們的小目標。

Selenium：是一個強大的網絡數據采集工具，其最初是為網站自動化測試而開發的。近幾年，它還被廣泛用于獲取精確的網站快照，因為它們可以直接運行在瀏覽器上。Selenium 庫是一個在WebDriver 上調用的API。WebDriver 有點兒像可以加載網站的瀏覽器，但是它也可以像BeautifulSoup對象一樣用來查找頁面元素，與頁面上的元素進行交互（發送文本、點擊等），以及執行其他動作來運行網絡爬蟲。安裝方式與其他Python第三方庫一樣

安裝: pip3 install Selenium

驗證一下:

Selenium 自己不帶瀏覽器，它需要與第三方瀏覽器結合在一起使用。例如，如果你在Firefox 上運行Selenium，可以直接看到一個Firefox 窗口被打開，進入網站，然后執行你在代碼中設置的動作。雖然這樣可以看得更清楚，但不適用于我們的爬蟲程序，爬一頁就打開一頁效率太低，所以我們用一個叫PhantomJS的工具代替真實的瀏覽器。

PhantomJS：是一個“無頭”（headless）瀏覽器。它會把網站加載到內存并執行頁面上的JavaScript，但是它不會向用戶展示網頁的圖形界面。把Selenium和PhantomJS 結合在一起，就可以運行一個非常強大的網絡爬蟲了，可以處理cookie、JavaScript、header，以及任何你需要做的事情。

PhantomJS并不是Python的第三方庫，不能用pip安裝。它是一個完善的瀏覽器，所以你需要去它的官方網站下載，然后把可執行文件拷貝到Python安裝目錄的Scripts文件夾, 或者隨便一個目錄在ＰＡＴＨ中的目錄

開始干活！

打開歌單的第一頁： http://music.163.com/#/discov...

用Chrome的“開發者工具”F12先分析一下，很容易就看穿了一切。

播放數nb (number broadcast)：29915

封面 msk (mask)：有標題和url

同理，可以找到“下一頁”的url，最后一頁的url是“javascript:void(0)”。

最后，讓我們用代碼完成工作。

from selenium import webdriver

url = "https://music.163.com/#/discover/playlist/?order=hot&cat=%E5%85%A8%E9%83%A8&limit=35&offset=0"

driver = webdriver.PhantomJS()

driver.get(url)  # 加載頁面

driver.switch_to.frame("contentFrame")  # 切換到歌單所在的iframe

# 歌單所有項目的包裹元素
data = driver.find_element_by_id("m-pl-container").find_elements_by_tag_name("li")

for d in data:
    nb = d.find_element_by_class_name("nb").text  # 播放數
    msk = d.find_element_by_css_selector("a.msk")
    print(msk.get_attribute("title"), nb, msk.get_attribute("href"))

結果

我不想當錦鯉，我只想我喜歡的人也喜歡我 10萬 https://music.163.com/playlis...
威士忌風味·野性浪漫醇香度43% 43918 https://music.163.com/playlis...
柔情/迷離?落日余暉下那抹絢爛的幻影 15547 https://music.163.com/playlis...
單身都市麗人生存手冊 20347 https://music.163.com/playlis... avex
動漫歌曲宅急便 Part. 2 7898 https://music.163.com/playlis...
『韓』秋日漸近，唱一曲悲涼 14354 https://music.163.com/playlis...
全球史詩級萬評電音!百種風格【主打】 172萬 https://music.163.com/playlis...
2018上半年最熱新歌TOP50 1143萬 https://music.163.com/playlis...
「高質量英文歌」讓你單曲循環的英文歌 364萬 https://music.163.com/playlis...
「純音」噓，我的悲傷才剛剛睡著 138萬 https://music.163.com/playlis...
電影中的鋼琴曲｜最會講故事3 481萬 https://music.163.com/playlis...
單循輯｜我想和你共享耳機 1778萬 https://music.163.com/playlis...
『歐美』書店書城常用流行鋼琴曲推薦② 197萬 https://music.163.com/playlis...
我最大的遺憾，是你的遺憾與我有關 1085萬 https://music.163.com/playlis...
予你情詩百首，余生你是我的所有 1726萬 https://music.163.com/playlis...
海鹽風味｜浪漫迷幻°新鮮度100% 545萬 https://music.163.com/playlis...
最怕rapper說情話 463萬 https://music.163.com/playlis...
這世界上情歌那么多，卻沒有一首屬于我 1709萬 https://music.163.com/playlis...
這些歌名連起來，是我暗戀你多年的秘密 1751萬 https://music.163.com/playlis...
青檸味復古 ? 凌步夏傍西海岸的空幻 335萬 https://music.163.com/playlis...
「偽治愈系Rap」你價值連城傷口的良藥 125萬 https://music.163.com/playlis...
失落少年孤獨心俱樂部 674萬 https://music.163.com/playlis... 藍莓味氣泡水°
137萬 https://music.163.com/playlis... 盤點那些歐美流行歌手的不爛大街好聽歌曲
474萬 https://music.163.com/playlis... 同桌的你，曾是我期待上課的理由 752萬
https://music.163.com/playlis...
正常情況下是這樣的，如果你想要爬所有的數據，還需要引入翻頁機制（即把url里的頁碼–offset–替換）

由于selenium在不久的將來會放棄對phantomjs的支持， 所以這里也提供一個替代方案，使用chrome的headless模式。使用這個模式你需要下載chromedriver, 并把這個文件所在目錄加到PATH， 也可以拷貝到python路徑下面

from selenium import webdriver

url = "https://music.163.com/#/discover/playlist/?order=hot&cat=%E5%85%A8%E9%83%A8&limit=35&offset=0"

chromeOptions = webdriver.ChromeOptions()
chromeOptions.add_argument("headless")
driver = webdriver.Chrome(chrome_options=chromeOptions)

driver.get(url)  # 加載頁面

driver.switch_to.frame("contentFrame")  # 切換到歌單所在的iframe

# 歌單所有項目的包裹元素
data = driver.find_element_by_id("m-pl-container").find_elements_by_tag_name("li")

for d in data:
    nb = d.find_element_by_class_name("nb").text  # 播放數
    msk = d.find_element_by_css_selector("a.msk")
    print(msk.get_attribute("title"), nb, msk.get_attribute("href"))

python教程 django教程 爬蟲教程

最后打個廣告, 天氣變化快， 大家注意加衣