摘要：代碼優(yōu)化簡介這篇我們簡要的討論一下代碼優(yōu)化，這里主要討論兩點(diǎn)過程到函數(shù)加入對的處理我們在中的編碼是面向過程的，這個(gè)不利于復(fù)用，所以我們簡單的將我們前面的代碼函數(shù)化，方便以后擴(kuò)展及別人的調(diào)用另外，代碼最好符合規(guī)范，方便自己和別人閱讀編碼創(chuàng)建

這篇我們簡要的討論一下代碼優(yōu)化，這里主要討論兩點(diǎn)

過程到函數(shù)

加入對media的處理

PEP8

我們在Step1中的編碼是面向過程的，這個(gè)不利于復(fù)用，所以我們簡單的將我們前面的代碼函數(shù)化，方便以后擴(kuò)展及別人的調(diào)用

另外，Python代碼最好符合PEP8規(guī)范，方便自己和別人閱讀

import os
import requests

PROXIES = None

HEADERS = {
    "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1)"
                  " AppleWebKit/537.36 (KHTML, like Gecko) "
                  "Chrome/38.0.2125.122 Safari/537.36",
    "Accept": "text/html,application/xhtml+xml,"
              "application/xml;q=0.9,image/webp,*/*;q=0.8",
    "Accept-Encoding": "gzip,deflate,sdch",
    "Accept-Language": "zh-CN,zh;q=0.8"
}


################################
#
# requests Operation
#
################################


def GetPage(url, proxies=PROXIES, headers=HEADERS):
    r = requests.get(url, proxies=proxies, headers=headers)
    assert r.status_code == 200
    return r.text


def GetMedia(
        url, proxies=PROXIES, headers=HEADERS, chunk_size=512,
        media_type="pic"):
    r = requests.get(url, proxies=proxies, headers=headers, stream=True)
    filename = "download/" + media_type + "/" + os.path.basename(url)
    with open(filename, "wb") as fd:
        for chunk in r.iter_content(chunk_size):
            fd.write(chunk)
    return filename

這里主要封裝了兩個(gè)方法： GetPage 與 GetMedia

GetPage: 傳入頁面url 獲得 整個(gè)頁面

GetMeida: 傳入圖片或者視頻的url， 下載媒體文件到 download/pic 或者 download/video（主要為了后續(xù)支持百思不得姐的視頻）

# coding: utf-8

from pyquery import PyQuery as pq
from utils.common import GetMedia, GetPage

__author__ = "BONFY CHEN "


####################
#
# main function
#
####################

def qiushi():
    url = "http://www.qiushibaike.com/"
    page = GetPage(url)
    d = pq(page)
    contents = d("div .article")
    for item in contents:
        i = pq(item)
        pic_url = i("div .thumb img").attr.src
        content = i("div .content").text()
        id = i.attr.id
        if pic_url:
            pic_path = GetMedia(pic_url)
            print("pic - {id}: {content} 
pic下載到{pic_path}".format(
                id=id, content=content, pic_path=pic_path))
        else:
            print("text - {id}: {content}".format(id=id, content=content))


def main():
    qiushi()


if __name__ == "__main__":
    main()

$ pip install pep8
$ pep8 xiaolinBot

然后如果有不符合規(guī)范的代碼，會顯示提示，然后去更改就行了

詳情見 https://github.com/bonfy/xiaolinBot

歡迎關(guān)注一起交流

敬請期待下一篇： 適配器