資訊專欄INFORMATION COLUMN
摘要：模擬登錄新浪微博的核心，也是與模擬登錄最大的不同，密碼加密。已經實現模擬新浪微博登錄的功能，之后不再更新。
參考資料： http://www.csuldw.com/2016/11/10/2016-11-10-simulate-sina-login/ http://blog.csdn.net/fly_leopard/article/details/51148904 http://www.tuicool.com/articles/uIJzYff http://blog.csdn.net/u010029983/article/details/46364113 等
模擬新浪微博登錄是抓取新浪數據的基礎，網上的參考資料大多介紹的是用Python開發，有一篇使用php模擬登錄的資料還是在phpcms中實現的，也沒有太深入分析。
PS：網上資料來源比較亂，不知道phpcms實現模擬微博登錄的原作是不是csdn的t0mCl0nes，本篇介紹php模擬登錄的核心借鑒的就是這篇文章。以下提及這篇文章以phpcms方案指代。
使用PHP模擬登錄新浪微博和Python還是有些區別的，其中也存在一些問題，在這里我就簡單分析一下PHP模擬新浪微博登錄的過程和存在的問題。
項目地址：
https://github.com/daweilang/...
標題名“基于laravel框架”，因為整個獲取新浪微博數據的系統是用的lavarel框架搭建的，使用了lavarel隊列、命令等等工具。其實模擬新浪微博登錄這部分完全可以用簡單php程序頁面實現，希望我下面的分析能夠幫助感興趣的朋友實現自己的模擬登錄程序。
PS：AppHttpControllersAdminAuthorizeController控制器是本文的主程序，以下提及的代碼都在github該程序中。
這里所介紹的模擬新浪微博登錄，具體是指通過新浪通行證模擬登錄。新浪通行證是新浪的統一登錄模式，新浪網（sina.com.cn）和微博（weibo.com）是兩個不同的頂級域，正是通過新浪通行證，微博實現了跨域登錄。對于跨域登錄了解不多，不過新浪網使用的這種方式技術上應該是很深入的。
具體登錄參數的抓包分析請參考上面和網上的一些文章，其中固定參數可以參考我的代碼“config/weibo.php”的curl數組。
這里主要對 預登錄和預登錄返回的參數 結合PHP程序進一步說明。
當用戶輸入用戶名并且焦點離開輸入框后，登錄頁面會向 http://login.sina.com.cn/sso/prelogin.php?entry=weibo&callback=sinaSSOController.preloginCallBack&su=%s&rsakt=mod&checkpin=1&client=ssologin.js(v1.4.18)&_=%s 發送一次GET請求，其中用戶名是經過base64_encode加密的，最后是個毫秒級的時間戳，其他參數可以固定。
該請求返回了一些參數，網上資料已經介紹了后面主要用到了 "servertime"、”nonce"和"rsakv" 這三個參數，不過其實 “showpin”和“pcid” 這兩個參數也很重要，showpin為1的時候代表需要填寫驗證碼，而驗證碼的生成需要“pcid”這個參數。
phpcms方案中將請求返回的這些參數儲存到cookie中，我的代碼是儲存到文件中，參數的取得和儲存代碼參見GetWeiboCookie類的getPreUrl()方法。
PHP模擬登錄新浪微博的核心，也是與Python模擬登錄最大的不同，密碼加密。網上的文章都已經介紹了微博密碼加密原理，使用RSA2算法，“首先創建一個 rsa 公鑰，公鑰的兩個參數都是固定值，第一個參數是登錄過程中 prelogin.php 中的 pubkey ，第二個參數是加密的 js 文件中指定的”10001”（這兩個值需要先從16進制轉換成10進制，把“10001”轉成十進制為“65537”）。最后再加入 servertime 和 nonce 進行進一步加密。”
新浪通行證的流程是，在用戶填寫完用戶名和密碼提交后，請求“https://login.sina.com.cn/js/sso/ssologin.js” 頁面，這個js頁面里就是上面的加密算法，使用js將密碼加密。
這個流程使用Python模擬的代碼是這樣的：
RSAKey = rsa.PublicKey(rsaPubkey, 65537) #創建公鑰 #根據js拼接方式構造明文 codeStr = str(servertime) + " " + str(nonce) + " " + str(password) pwd = rsa.encrypt(codeStr, RSAKey) #使用rsa進行加密
短短三行代碼，只需要安裝rsa包。。。
百度了好久，沒有找到php實現生成rsa公鑰方法。
phpcms方案實現了一種解決方法，也就是按照新浪通行證的流程來實現，用ssologin的js方法來加密。phpcms方案對sso加密算法進行了一次封裝，csdn博客上有該段js代碼。我的js水平不高，完全借鑒了這段代碼，在此基礎上將加密算法提取到一個js文件中。
這種做法有個很大的缺點，需要一個多帶帶的頁面來生成加密后的密碼，并且將密碼傳給最后的提交頁面，也就是說頁面需要多次跳轉。
var encrpt = getpass("{$preParam["sp"]}", "{$preParam["servertime"]}", "{$preParam["nonce"]}", "{$preParam["pubkey"]}" );
// document.write(encrpt);
window.location.href="/admin/authorize/browserLogin/?sp="+encrpt;
最后將加密的密碼傳遞給最后的提交頁，見getRsaPwd()方法。
我是在最終提交頁browserLogin中將之前儲存在文件中的各種參數提取與加密后的密碼組合，最后post給新浪通行證登錄頁登錄。
這里還有一點是之前介紹過的，需要填寫驗證碼情況，如果預登錄返回的showpin參數為1，需要獲得驗證碼圖片，填寫驗證碼登錄。驗證碼圖片地址是
http://login.sina.com.cn/cgi/pin.php?r={$randInt}&s=0&p={$preParam["pcid"]}
r是隨機8位數字，p是預登陸返回的pcid。如果有驗證碼就多了一次手動填寫驗證碼的流程。
具體代碼參考browserLogin()方法。
這種方法與Python相比最大的缺點是不能自動登錄，也就是后臺登錄，Python不需要人為觸發，有用戶名和密碼后完全可以使用程序模擬登錄，而php實現需要人為觸發登錄。
另外，如果需要填寫驗證碼，Python也有工具可以識別驗證碼，做到自動打碼，全程自動登錄，這點php實現起來也比較困難。
之后的curl登錄沒有什么需要特別說明的，應該是在參數里面設置了入口weibo，所以返回的cookie可以直接使用到微博中，理論上這種方式可以在新浪全站模擬登錄，不過我并沒有試過其他子站。新浪只是在密碼核驗上比較嚴格，對于模擬登錄的限制并不多。
綜上，雖然使用PHP實現了模擬新浪微博登錄，但比之Python還是很不方便的，畢竟Python做爬蟲的有很多工具。不過在模擬登錄微博的基礎上獲取微博數據過程中，使用lavarel這種框架實現了很多腳本功能，大大提高了抓取數據效率，這也是我使用lavarel開發這個小項目的原因。
https://github.com/daweilang/...
已經實現模擬新浪微博登錄的功能，之后不再更新。
后續的新浪微博數據抓取分析，請關注 https://github.com/daweilang/...
這個項目還在調整階段，還有很多缺陷需要完善，待功能成熟后，我也會圍繞項目的設計目標，介紹一下實現方案。
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/22624.html
摘要：由于我需要獲取普通用戶的微博內容，因此還要想辦法繼續繞。默認是勾上的，也即是說微博團隊主觀上是希望用戶勾上這個，從而借助判斷來提高登錄安全性的。我遂果斷取消勾選該選項，輸入任何一個自己的微博賬號密碼，點擊登錄。 有時或基于以下凡此種種需求，我們會想要去抓取新浪微博的內容： 產品冷啟動，導入外部數據，而非從頭積累； 通過大數據+語義分析獲取用戶興趣行為偏好，提供智能推薦； 監控微博輿...
摘要：是一個瀏覽器自動化測試框架可以模擬用戶的所有操作很久以前就想把李敖大師的所有微博爬取下來一直沒空前天看見群里有人推薦和就學了做了個你們想爬別人的只要把李敖大師的地址換成你要的就行了我還沒學不過我猜他就是去掉功能的瀏覽器這樣可以讓爬蟲更快如果 selenium 是一個瀏覽器自動化測試框架.可以模擬用戶的所有操作. 很久以前就想把李敖大師的所有微博爬取下來.一直沒空,前天看見群里有人推薦s...
摘要：微博圖床對于微博圖床的理解得力于這篇文章利用微博當圖床語言實現。源碼如下上傳圖片到微博圖床圖片文件圖片是否采用方式上傳返回的數據微博提交正則表達式提取返回結果中的數據微博機器人源碼列舉了所要用到的幾個重要，最后還是貼一下機器人的源碼吧。 ? 在2011年的時候，浙大的一位博士生借助微博的開放平臺為他實驗室的一臺飲水機弄了個微博，名喚@浙大CCNT實驗室飲水機，俗稱飲水機娘。當年這...
摘要：今天為大家整理了個爬蟲項目。地址新浪微博爬蟲主要爬取新浪微博用戶的個人信息微博信息粉絲和關注。代碼獲取新浪微博進行登錄，可通過多賬號登錄來防止新浪的反扒。涵蓋鏈家爬蟲一文的全部代碼，包括鏈家模擬登錄代碼。支持微博知乎豆瓣。 showImg(https://segmentfault.com/img/remote/1460000018452185?w=1000&h=667); 今天為大家整...
閱讀 7580·2023-04-25 14:36
閱讀 1747·2021-11-22 09:34
閱讀 2136·2019-08-30 15:55
閱讀 3138·2019-08-30 11:19
閱讀 1301·2019-08-29 15:17
閱讀 544·2019-08-29 12:47
閱讀 2984·2019-08-26 13:38
閱讀 2621·2019-08-26 11:00
