摘要:分析登錄過程這幾天研究百度登錄和貼吧簽到,這百度果然是互聯網巨頭,一個登錄過程都弄得復雜無比,簡直有毒。另外如果你打開百度首頁的話,還會發現瀏覽器的中還會輸出百度的招聘信息。
分析登錄過程
這幾天研究百度登錄和貼吧簽到,這百度果然是互聯網巨頭,一個登錄過程都弄得復雜無比,簡直有毒。我研究了好幾天仍然沒搞明白。所以還是先挑一個軟柿子捏捏,就選擇CSDN了。
過程很簡單,我也不截圖了。直接打開瀏覽器,然后打開Fiddler,然后登錄CSDN。然后Fiddler顯示瀏覽器向https://passport.csdn.net/account/login?ref=toolbar發送了一個POST請求,這個請求包含了登錄表單,而且還是未加密的。當然CSDN本身還是使用了HTTPS,所以安全性還行。
請求體如下,username和password當然是用戶名和密碼了。
username=XXXXX&password=XXXXXX&rememberMe=true<=LT-461600-wEKpWAqbfZoULXmFmDIulKPbL44hAu&execution=e4s1&_eventId=submit
lt參數我不知道是干啥的,結果直接在頁面中一看原來全在表單里頭,這下直接全了。CSDN很貼心的連注釋都給出了。另外如果你打開百度首頁的話,還會發現瀏覽器的log中還會輸出百度的招聘信息。
登錄代碼這些信息全有了,這樣我們就可以登錄了。不說廢話,直接上代碼。先說說我遇到的幾個坑。
首先是一個參數錯誤,其實邏輯沒問題,但是代碼我復制粘貼之后忘了改名字了,就登錄表單那里,三個參數全弄成了lt,結果登錄返回來的頁面是錯誤頁面。我還以為是沒有附帶什么請求頭,瞎整了大半天。最后用Fiddler調試了好多遍才發現。
第二個問題就是CSDN雞賊的跳轉。由于瀏覽器自帶了JS引擎,所以我們在瀏覽器中輸入網址,到達頁面這一過程不一定就是一個請求。可能中間用了什么JS代碼先跳轉到中間頁面,最后才跳轉到實際頁面。代碼里的_validate_redirect_url(self)函數就是干這個的,登錄完了第一次請求會得到一個中間頁面,它包含了一堆JS代碼,其中有個重定向網址。我們獲取到這個重定向網址,還得請求一次,獲得200OK之后,后續請求才能獲得實際頁面。
第三個問題就是正則表達式匹配頁面的空格問題了。獲取文章首先得知道文章總數,這個好辦,直接獲取頁面里的文章數就行了。它類似100條 共20頁這個。那么該怎么獲取呢?一開始我用的(d+)條 共(d+)頁這個正則,但是結果沒匹配到,然后我仔細看了一下頁面,原來這兩個詞之間不是一個空格,而是兩個空格!其實這個問題倒是也好辦,改一下正則(d+)條s*共(d+)頁就行了。所以以后如果遇到空格問題,直接用s匹配,不要想著自己輸入一個空格還是兩個空格。
import requests from bs4 import BeautifulSoup import re import urllib.parse as parse class CsdnHelper: """登錄CSDN和列出所有文章的類""" csdn_login_url = "https://passport.csdn.net/account/login?ref=toolbar" headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36", } blog_url = "http://write.blog.csdn.net/postlist/" def __init__(self): self._session = requests.session() self._session.headers = CsdnHelper.headers def login(self, username, password): """登錄主函數""" form_data = self._prepare_login_form_data(username, password) response = self._session.post(CsdnHelper.csdn_login_url, data=form_data) if "UserNick" in response.cookies: nick = response.cookies["UserNick"] print(parse.unquote(nick)) else: raise Exception("登錄失敗") def _prepare_login_form_data(self, username, password): """從頁面獲取參數,準備提交表單""" response = self._session.get(CsdnHelper.csdn_login_url) login_page = BeautifulSoup(response.text, "lxml") login_form = login_page.find("form", id="fm1") lt = login_form.find("input", attrs={"name": "lt"})["value"] execution = login_form.find("input", attrs={"name": "execution"})["value"] eventId = login_form.find("input", attrs={"name": "_eventId"})["value"] form = { "username": username, "password": password, "lt": lt, "execution": execution, "_eventId": eventId } return form def _get_blog_count(self): """獲取文章數和頁數""" self._validate_redirect_url() response = self._session.get(CsdnHelper.blog_url) blog_page = BeautifulSoup(response.text, "lxml") span = blog_page.find("div", class_="page_nav").span print(span.string) pattern = re.compile(r"(d+)條s*共(d+)頁") result = pattern.findall(span.string) blog_count = int(result[0][0]) page_count = int(result[0][1]) return (blog_count, page_count) def _validate_redirect_url(self): """驗證重定向網頁""" response = self._session.get(CsdnHelper.blog_url) redirect_url = re.findall(r"var redirect = "(S+)";", response.text)[0] self._session.get(redirect_url) def print_blogs(self): """輸出文章信息""" blog_count, page_count = self._get_blog_count() for index in range(1, page_count + 1): url = f"http://write.blog.csdn.net/postlist/0/0/enabled/{index}" response = self._session.get(url) page = BeautifulSoup(response.text, "lxml") links = page.find_all("a", href=re.compile(r"http://blog.csdn.net/u011054333/article/details/(d+)")) print(f"----------第{index}頁----------") for link in links: blog_name = link.string blog_url = link["href"] print(f"文章名稱:《{blog_name}》 文章鏈接:{blog_url}") if __name__ == "__main__": csdn_helper = CsdnHelper() username = input("請輸入用戶名") password = input("請輸入密碼") csdn_helper.login(username, password) csdn_helper.print_blogs()
當然,這里最重要的的就是登錄過程了。我們登錄之后,才可以做其他事情。比方說,下一步還能寫一個備份工具,把CSDN博客的所有文章和圖片下載到本地。有興趣的同學可以試一試。
文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。
轉載請注明本文地址:http://specialneedsforspecialkids.com/yun/38582.html
摘要:爬取百思不得姐首先一步一步來,我們先從爬最簡單的文本開始。將百思不得姐段子保存到中別忘了將管道加到配置文件中。雖然我只是簡單的爬了百思不得姐,不過這些方法可以應用到其他方面,爬取更多更有用的數據。 前一篇文章介紹了很多關于scrapy的進階知識,不過說歸說,只有在實際應用中才能真正用到這些知識。所以這篇文章就來嘗試利用scrapy爬取各種網站的數據。 爬取百思不得姐 首先一步一步來,我...
摘要:時間永遠都過得那么快,一晃從年注冊,到現在已經過去了年那些被我藏在收藏夾吃灰的文章,已經太多了,是時候把他們整理一下了。那是因為收藏夾太亂,橡皮擦給設置私密了,不收拾不好看呀。 ...
摘要:模擬登錄新浪微博的核心,也是與模擬登錄最大的不同,密碼加密。已經實現模擬新浪微博登錄的功能,之后不再更新。 參考資料: http://www.csuldw.com/2016/11/10/2016-11-10-simulate-sina-login/ http://blog.csdn.net/fly_leopard/article/details/51148904 http://www....
摘要:布爾值布爾值和布爾代數的表示完全一致,一個布爾值只有兩種值的數據類型可以通過內置的函數查詢,例如還可以用來判斷和的區別在于不會認為子類是一種父類類型。會認為子類是一種父類類型。基本功能是進行成員關系測試和刪除重復元素。 ...
摘要:所以,讓我們再接再厲,進入到博客開發進階教程,學習更多的開發技巧,為博客提供更多的功能吧總結本章節的代碼位于。在已知小問題修正追夢人物的博客的評論區留言。將問題的詳細描述通過郵件發送到,一般會在小時內回復。更多教程,請訪問追夢人物的博客。 在模型中指定排序 為了讓文章(Post)按發布時間逆序排列,即最新發表的文章排在文章列表的最前面,我們對返回的文章列表進行了排序,即各個視圖函數中都...
閱讀 1263·2021-11-23 09:51
閱讀 2638·2021-09-03 10:47
閱讀 2234·2019-08-30 15:53
閱讀 2414·2019-08-30 15:44
閱讀 1375·2019-08-30 15:44
閱讀 1194·2019-08-30 10:57
閱讀 1925·2019-08-29 12:25
閱讀 1087·2019-08-26 11:57