用戶中心USER CENTER
摘要：下載器負責獲取頁面，然后將它們交給引擎來處理。內置了一些下載器中間件，這些中間件將在后面介紹。下載器中間件下載器中間件可以在引擎和爬蟲之間操縱請求和響應對象。爬蟲中間件與下載器中間件類似，啟用爬蟲中間件需要一個字典來配置。 前段時間我寫了一篇《scrapy快速入門》，簡單介紹了一點scrapy的知識。最近我的搬瓦工讓墻了，而且我又學了一點mongodb的知識，所以這次就來介紹一些scr...
摘要：線程局部變量，也就是每個線程的私有變量，具有線程隔離性。按我們正常的理解，應該是每一個請求對應一個處理線程。在中，除了線程之外，還有個叫協程的東東，這里不提進程。配合會確保不管是協程還是線程，只要當前請求處理完成之后清除中對應的內容。 首先貼出官方文檔地址：http://werkzeug.pocoo.org/doc...幾個local？threading.localwerkzeug.l...
摘要：由于蘋果原生蛋疼的協議致使本來很簡單的個推送服務讓人望而卻步。直到蘋果最近的協議的出現才有所改善。如果推送失敗后蘋果的推送服務器會返回個錯誤的信息。結語雖然通過使用來實現蘋果的推送服務是個比較簡單的事情甚至會覺得比較枯燥無味的事情。 原文地址: http://52sox.com/python-use-h... 說起蘋果的推送,可能很多開發人員就開始頭疼了,因為實現蘋果推送服務是1個比較...
摘要：筆者編寫的搜索引擎爬蟲在爬取頁面時遇到了網頁被重定向的情況，所謂重定向就是通過各種方法本文提到的為種將各種網絡請求重新轉到其它位置。即網頁中的標簽聲明了網頁重定向的鏈接，這種重定向由瀏覽器完成，需要編寫代碼進行處理。 筆者編寫的搜索引擎爬蟲在爬取頁面時遇到了網頁被重定向的情況，所謂重定向(Redirect)就是通過各種方法（本文提到的為3種）將各種網絡請求重新轉到其它位置（URL）。每...
摘要：生成器可以簡單理解成一個函數，每次執行到語句就返回一個值，通過不停地調用這個函數，就能獲取到所有的值，這些值就能構成了一個等效的列表，但是與列表不同的是，這些值是不斷計算得出，而列表是在一開始就計算好了，這就是的思想。 python 是一門簡單而優雅的語言，可能是過于簡單了，不用花太多時間學習就能使用，其實 python 里面還有一些很好的特性，能大大簡化你代碼的邏輯，提高代碼的可讀性...
