摘要:通過回調函數將響應狀態和響應頭返回給,同時返回響應正文,響應正文是可迭代的并包含了多個字符串。返回響應正文負責獲取請求,將請求傳遞給,由處理請求后返回。
我想大部分Python開發者最先接觸到的方向是WEB方向(因為總是有開發者希望馬上給自己做個博客出來,例如我),既然是WEB,免不了接觸到一些WEB框架,例如Django,Flask,Torando等等,在開發過程中,看過一些文檔總會介紹生產環境和開發環境服務器的配置問題,服務器又設計web服務器和應用服務器,總而言之,我們碰到最多的,必定是這個詞 --- WSGI。
接下來的文章,會分為以下幾個部分:
1.WSGI介紹
1.1什么是WSGI
1.2怎么實現WSGI
2.由Django框架分析WSGI
3.實際環境使用的wsgi服務器
4.WSGI服務器比較
首先介紹幾個關于WSGI相關的概念
WSGI:全稱是Web Server Gateway Interface,WSGI不是服務器,python
模塊,框架,API或者任何軟件,只是一種規范,描述web server如何與web application通信的規范。server和application的規范在PEP 3333中有具體描述。要實現WSGI協議,必須同時實現web server和web application,當前運行在WSGI協議之上的web框架有Torando,Flask,Django
uwsgi:與WSGI一樣是一種通信協議,是uWSGI服務器的獨占協議,用于定義傳輸信息的類型(type of information),每一個uwsgi packet前4byte為傳輸信息類型的描述,與WSGI協議是兩種東西,據說該協議是fcgi協議的10倍快。
uWSGI:是一個web服務器,實現了WSGI協議、uwsgi協議、http協議等。
WSGI協議主要包括server和application兩部分:
WSGI server負責從客戶端接收請求,將request轉發給application,將application返回的response返回給客戶端; WSGI application接收由server轉發的request,處理請求,并將處理結果返回給server。application中可以包括多個棧式的中間件(middlewares),這些中間件需要同時實現server與application,因此可以在WSGI服務器與WSGI應用之間起調節作用:對服務器來說,中間件扮演應用程序,對應用程序來說,中間件扮演服務器。
WSGI協議其實是定義了一種server與application解耦的規范,即可以有多個實現WSGI server的服務器,也可以有多個實現WSGI application的框架,那么就可以選擇任意的server和application組合實現自己的web應用。例如uWSGI和Gunicorn都是實現了WSGI server協議的服務器,Django,Flask是實現了WSGI application協議的web框架,可以根據項目實際情況搭配使用。
以上介紹了相關的常識,接下來我們來看看如何簡單實現WSGI協議。
1.2 怎么實現WSGI上文說過,實現WSGI協議必須要有wsgi server和application,因此,我們就來實現這兩個東西。
我們來看看官方WSGI使用WSGI的wsgiref模塊實現的小demo
有關于wsgiref的快速入門可以看看這篇博客
def demo_app(environ,start_response): from StringIO import StringIO stdout = StringIO() print >>stdout, "Hello world!" print >>stdout h = environ.items(); h.sort() for k,v in h: print >>stdout, k,"=", repr(v) start_response("200 OK", [("Content-Type","text/plain")]) return [stdout.getvalue()] httpd = make_server("localhost", 8002, demo_app) httpd.serve_forever() # 使用select
實現了一個application,來獲取客戶端的環境和回調函數兩個參數,以及httpd服務端的實現,我們來看看make_server的源代碼
def make_server( host, port, app, server_class=WSGIServer, handler_class=WSGIRequestHandler ): """Create a new WSGI server listening on `host` and `port` for `app`""" server = server_class((host, port), handler_class) server.set_app(app) return server
接受一系列函數,返回一個server對象,實現還是比較簡單,下面我們來看看在django中如何實現其自身的wsgi服務器的。
下面我們自己來實現一遍:
WSGI 規定每個 python 程序(Application)必須是一個可調用的對象(實現了__call__ 函數的方法或者類),接受兩個參數 environ(WSGI 的環境信息) 和 start_response(開始響應請求的函數),并且返回 iterable。幾點說明:
environ 和 start_response 由 http server 提供并實現 environ 變量是包含了環境信息的字典 Application 內部在返回前調用 start_response start_response也是一個 callable,接受兩個必須的參數,status(HTTP狀態)和 response_headers(響應消息的頭) 可調用對象要返回一個值,這個值是可迭代的。
# 1. 可調用對象是一個函數 def application(environ, start_response): response_body = "The request method was %s" % environ["REQUEST_METHOD"] # HTTP response code and message status = "200 OK" # 應答的頭部是一個列表,每對鍵值都必須是一個 tuple。 response_headers = [("Content-Type", "text/plain"), ("Content-Length", str(len(response_body)))] # 調用服務器程序提供的 start_response,填入兩個參數 start_response(status, response_headers) # 返回必須是 iterable return [response_body] # 2. 可調用對象是一個類 class AppClass: """這里的可調用對象就是 AppClass 這個類,調用它就能生成可以迭代的結果。 使用方法類似于: for result in AppClass(env, start_response): do_somthing(result) """ def __init__(self, environ, start_response): self.environ = environ self.start = start_response def __iter__(self): status = "200 OK" response_headers = [("Content-type", "text/plain")] self.start(status, response_headers) yield "Hello world! " # 3. 可調用對象是一個實例 class AppClass: """這里的可調用對象就是 AppClass 的實例,使用方法類似于: app = AppClass() for result in app(environ, start_response): do_somthing(result) """ def __init__(self): pass def __call__(self, environ, start_response): status = "200 OK" response_headers = [("Content-type", "text/plain")] self.start(status, response_headers) yield "Hello world! "
服務器程序端
上面已經說過,標準要能夠確切地實行,必須要求程序端和服務器端共同遵守。上面提到, envrion 和 start_response 都是服務器端提供的。下面就看看,服務器端要履行的義務。
準備 environ 參數 定義 start_response 函數 調用程序端的可調用對象
import os, sys def run_with_cgi(application): # application 是程序端的可調用對象 # 準備 environ 參數,這是一個字典,里面的內容是一次 HTTP 請求的環境變量 environ = dict(os.environ.items()) environ["wsgi.input"] = sys.stdin environ["wsgi.errors"] = sys.stderr environ["wsgi.version"] = (1, 0) environ["wsgi.multithread"] = False environ["wsgi.multiprocess"] = True environ["wsgi.run_once"] = True environ["wsgi.url_scheme"] = "http" headers_set = [] headers_sent = [] # 把應答的結果輸出到終端 def write(data): sys.stdout.write(data) sys.stdout.flush() # 實現 start_response 函數,根據程序端傳過來的 status 和 response_headers 參數, # 設置狀態和頭部 def start_response(status, response_headers, exc_info=None): headers_set[:] = [status, response_headers] return write # 調用客戶端的可調用對象,把準備好的參數傳遞過去 result = application(environ, start_response) # 處理得到的結果,這里簡單地把結果輸出到標準輸出。 try: for data in result: if data: # don"t send headers until body appears write(data) finally: if hasattr(result, "close"): result.close()2 由Django框架分析WSGI
下面我們以django為例,分析一下wsgi的整個流程
django WSGI applicationWSGI application應該實現為一個可調用iter對象,例如函數、方法、類(包含**call**方法)。需要接收兩個參數:一個字典,該字典可以包含了客戶端請求的信息以及其他信息,可以認為是請求上下文,一般叫做environment(編碼中多簡寫為environ、env),一個用于發送HTTP響應狀態(HTTP status)、響應頭(HTTP headers)的回調函數,也就是start_response()。通過回調函數將響應狀態和響應頭返回給server,同時返回響應正文(response body),響應正文是可迭代的、并包含了多個字符串。
下面是Django中application的具體實現部分:
class WSGIHandler(base.BaseHandler): initLock = Lock() request_class = WSGIRequest def __call__(self, environ, start_response): # 加載中間件 if self._request_middleware is None: with self.initLock: try: # Check that middleware is still uninitialized. if self._request_middleware is None: self.load_middleware() except: # Unload whatever middleware we got self._request_middleware = None raise set_script_prefix(get_script_name(environ)) # 請求處理之前發送信號 signals.request_started.send(sender=self.__class__, environ=environ) try: request = self.request_class(environ) except UnicodeDecodeError: logger.warning("Bad Request (UnicodeDecodeError)",exc_info=sys.exc_info(), extra={"status_code": 400,} response = http.HttpResponseBadRequest() else: response = self.get_response(request) response._handler_class = self.__class__ status = "%s %s" % (response.status_code, response.reason_phrase) response_headers = [(str(k), str(v)) for k, v in response.items()] for c in response.cookies.values(): response_headers.append((str("Set-Cookie"), str(c.output(header="")))) # server提供的回調方法,將響應的header和status返回給server start_response(force_str(status), response_headers) if getattr(response, "file_to_stream", None) is not None and environ.get("wsgi.file_wrapper"): response = environ["wsgi.file_wrapper"](response.file_to_stream) return response
可以看出application的流程包括:加載所有中間件,以及執行框架相關的操作,設置當前線程腳本前綴,發送請求開始信號;處理請求,調用get_response()方法處理當前請求,該方法的的主要邏輯是通過urlconf找到對應的view和callback,按順序執行各種middleware和callback。調用由server傳入的start_response()方法將響應header與status返回給server。返回響應正文
django WSGI Server負責獲取http請求,將請求傳遞給WSGI application,由application處理請求后返回response。以Django內建server為例看一下具體實現。通過runserver運行django
項目,在啟動時都會調用下面的run方法,創建一個WSGIServer的實例,之后再調用其serve_forever()方法啟動服務。
def run(addr, port, wsgi_handler, ipv6=False, threading=False): server_address = (addr, port) if threading: httpd_cls = type(str("WSGIServer"), (socketserver.ThreadingMixIn, WSGIServer), {}) else: httpd_cls = WSGIServer # 這里的wsgi_handler就是WSGIApplication httpd = httpd_cls(server_address, WSGIRequestHandler, ipv6=ipv6) if threading: httpd.daemon_threads = True httpd.set_app(wsgi_handler) httpd.serve_forever()
下面表示WSGI server服務器處理流程中關鍵的類和方法。
WSGIServerrun()方法會創建WSGIServer實例,主要作用是接收客戶端請求,將請求傳遞給application,然后將application返回的response返回給客戶端。
創建實例時會指定HTTP請求的handler:WSGIRequestHandler類
通過set_app和get_app方法設置和獲取WSGIApplication實例wsgi_handler
處理http請求時,調用handler_request方法,會創建WSGIRequestHandler
實例處理http請求。
WSGIServer中get_request方法通過socket接受請求數據
WSGIRequestHandler由WSGIServer在調用handle_request時創建實例,傳入request、cient_address、WSGIServer三個參數,__init__方法在實例化同時還會調用自身的handle方法handle方法會創建ServerHandler實例,然后調用其run方法處理請求
ServerHandlerWSGIRequestHandler在其handle方法中調用run方法,傳入self.server.get_app()參數,獲取WSGIApplication,然后調用實例(__call__
),獲取response,其中會傳入start_response回調,用來處理返回的header和status。通過application獲取response以后,通過finish_response返回response
WSGIHandlerWSGI協議中的application,接收兩個參數,environ字典包含了客戶端請求的信息以及其他信息,可以認為是請求上下文,start_response用于發送返回status和header的回調函數
雖然上面一個WSGI server涉及到多個類實現以及相互引用,但其實原理還是調用WSGIHandler,傳入請求參數以及回調方法start_response(),并將響應返回給客戶端。
3 實際環境使用的wsgi服務器因為每個web框架都不是專注于實現服務器方面的,因此,在生產環境部署的時候使用的服務器也不會簡單的使用web框架自帶的服務器,這里,我們來討論一下用于生產環境的服務器有哪些?
1.
gunicorn
Gunicorn(從Ruby下面的Unicorn得到的啟發)應運而生:依賴Nginx的代理行為,同Nginx進行功能上的分離。由于不需要直接處理用戶來的請求(都被Nginx先處理),Gunicorn不需要完成相關的功能,其內部邏輯非常簡單:接受從Nginx來的動態請求,處理完之后返回給Nginx,由后者返回給用戶。
由于功能定位很明確,Gunicorn得以用純Python開發:大大縮短了開發時間的同時,性能上也不會很掉鏈子。同時,它也可以配合Nginx的代理之外的別的Proxy模塊工作,其配置也相應比較簡單。
配置上的簡單,大概是它流行的最大的原因。
2.
uwsgi
因為使用C語言開發,會和底層接觸的更好,配置也是比較方便,目前和gunicorn兩個算是部署時的唯二之選。
以下是通常的配置文件
[uwsgi] http = $(HOSTNAME):9033 http-keepalive = 1 pythonpath = ../ module = service master = 1 processes = 8 daemonize = logs/uwsgi.log disable-logging = 1 buffer-size = 16384 harakiri = 5 pidfile = uwsgi.pid stats = $(HOSTNAME):1733 運行:uwsgi --ini conf.ini
3.
fcgi
不多數,估計使用的人也是比較少,這里只是提一下
4.
bjoern
Python WSGI界最牛逼性能的Server其中一個是bjoern,純C,小于1000行代碼,就是看不慣uWSGI的冗余自寫的。
綜合廣大Python開發者的實際經歷,我們可以得出,使用最廣的當屬uWSGI以及gunicorn,我們這里來比較比較兩者與其他服務器的區別。
1.gunicorn本身是個多進程管理器,需要指定相關的不同類型的worker去工作,使用gevent作為worker時單機大概是3000RPS Hello World,勝過torando自帶的服務器大概是2000左右,uWSGI則會更高一點。
2.相比于tornado對于現有代碼需要大規模重構才能用上高級特性,Gevent只需要一個monkey,容易對代碼進行快速加工。
3.gunicorn 可以做 pre hook and post hook.
下面來對比以下uWSGI和gunicorn的速度差比
可以看到,如果單純追求性能,那uWSGI會更好一點,而gunicorn則會更易安裝和結合gevent。
結合這篇文章,我們也可以得出相同結論,在阻塞響應較多的情況下,gunicorn的gevent模式無疑性能會更加強大。
功能實現方面,無疑uWSGI會更多一些,配置也會更加復雜一些,可以看看uWSGI的配置和gunicorn的配置
至于怎么去選擇,就看大家的項目結構怎么樣了。
最后,宣傳一下我們的開源組織,PSC開源組,希望以開源項目的方式讓每個人都能更有融入性的去學習,公開化你的學習。
github地址:https://github.com/PythonScie...
官方論壇:http://www.pythonscientists.com
文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。
轉載請注明本文地址:http://specialneedsforspecialkids.com/yun/40887.html
摘要:提出這些規范的目的就是為了定義統一的標準,提升程序的可移植性。的對象處理完成后,會調用并且返回結果給,存放在中。比如可以檢查是否有非法內容,檢查是否有非法內容,為加上特定的等,這些都是可以的。的實現和部署要使用,需要分別實現角色和角色。 WSGI是什么 WSGI的全稱是Web Server Gateway Interface,翻譯過來就是Web服務器網關接口。具體的來說,WSGI是一個...
摘要:服務器通過協議與客戶端通信,因此也被稱為服務器。本文標題為從零開始搭建論壇一服務器與框架本文鏈接為更多閱讀自己動手開發網絡服務器一自己動手開發網絡服務器二自己動手開發網絡服務器三服務器網關接口實現原理分析最佳實踐指南應用淺談框架編程簡介 之前用 Django 做過一個小的站點,感覺Django太過笨重,于是就準備換一個比較輕量級的 Web 框架來玩玩。Web.py 作者已經掛掉,項目好...
摘要:通過,也就是通過各個項目提供的來使用各個服務的功能。通過使用的方式是由各個服務自己實現的,比如負責計算的項目實現了計算相關的,負責認證的項目實現了認證和授權相關的。的服務都是使用的方式來部署的。 使用OpenStack服務的方式 OpenStack項目作為一個IaaS平臺,提供了三種使用方式: 通過Web界面,也就是通過Dashboard(面板)來使用平臺上的功能。 通過命令行,也就...
摘要:在從零開始搭建論壇一服務器與框架中我們弄清楚了服務器應用程序框架的概念??蚣軕蒙蔂顟B碼以及響應報頭,然后將二者傳遞至,等待服務器保存。添加響應頭,狀態碼返回響應信息創建一個服務器實例目前支持的成熟服務器有很多,是相當不錯的一個。 在 從零開始搭建論壇(一):Web服務器與Web框架 中我們弄清楚了Web 服務器、Web 應用程序、Web框架的概念。對于 Python 來說,越來越多...
摘要:最新的工作中,有一部分的任務,于是開始折騰先惡補理論吧,關于有篇需要看,和,前者是年的提案,后者在年對前者做了小幅修訂,提案狀態也已經是,所以已經不是提案,已經是協議規范了,是的縮寫,解決的是各種比如與各種框架比如之間互聯互通的兼容性問題如 最新的工作中,有一部分HTTP API的任務,于是開始折騰Python WSGI... WSGI 先惡補理論吧,關于Python WSGI有2...
閱讀 854·2023-04-26 00:11
閱讀 2655·2021-11-04 16:13
閱讀 2101·2021-09-09 09:33
閱讀 1472·2021-08-20 09:35
閱讀 3817·2021-08-09 13:42
閱讀 3604·2019-08-30 15:55
閱讀 1039·2019-08-30 15:55
閱讀 2218·2019-08-30 13:55