摘要：協(xié)議，幾乎是每個人上網(wǎng)用的第一個協(xié)議，同時也是很容易被人忽略的協(xié)議。稱為協(xié)議，是一個域名，表示互聯(lián)網(wǎng)的一個位置。請求的發(fā)送協(xié)議是基于協(xié)議的，所以它是以面向連接的方式發(fā)送請求，通過二進制流的方式傳給對方。狀態(tài)碼反應請求的結果。

系列文章傳送門：

網(wǎng)絡協(xié)議 1 - 概述

網(wǎng)絡協(xié)議 2 - IP 是怎么來，又是怎么沒的？

網(wǎng)絡協(xié)議 3 - 從物理層到 MAC 層

網(wǎng)絡協(xié)議 4 - 交換機與 VLAN：辦公室太復雜，我要回學校

網(wǎng)絡協(xié)議 5 - ICMP 與 ping：投石問路的偵察兵

網(wǎng)絡協(xié)議 6 - 路由協(xié)議：敢問路在何方？

網(wǎng)絡協(xié)議 7 - UDP 協(xié)議：性善碰到城會玩

網(wǎng)絡協(xié)議 8 - TCP 協(xié)議（上）：性惡就要套路深

網(wǎng)絡協(xié)議 9 - TCP協(xié)議（下）：聰明反被聰明誤

網(wǎng)絡協(xié)議 10 - Socket 編程（上）：實踐是檢驗真理的唯一標準

網(wǎng)絡協(xié)議 11 - Socket 編程（下）：眼見為實耳聽為虛

????網(wǎng)絡協(xié)議五層通天路，咱們從物理層、到鏈路層、網(wǎng)絡層、再到傳輸層，現(xiàn)在又進一步，來到了應用層。這也是我們五層協(xié)議里最上面的一層，關于應用層，有太多協(xié)議要了解。但要說最有名的，那肯定就是 HTTP 了。

????HTTP 協(xié)議，幾乎是每個人上網(wǎng)用的第一個協(xié)議，同時也是很容易被人忽略的協(xié)議。

????就像 http://blog.muzixizao.com/，是個 URL，叫作統(tǒng)一資源定位符。之所以叫統(tǒng)一，是因為它是有規(guī)定格式的。HTTP 稱為協(xié)議，blog.muzixizao.com 是一個域名，表示互聯(lián)網(wǎng)的一個位置。有的 URL 會有更詳細的位置標識，例如

http://blog.muzixizao.com/?p=140

????正是因為格式是統(tǒng)一的，所以當你把這樣一個字符串輸入到瀏覽器的框里的時候，瀏覽器才知道如何進行統(tǒng)一處理。

????瀏覽器會將 blog.muzixizao.com 這個域名發(fā)送給 DNS 服務器，讓它解析為 IP 地址。關于 DNS 解析的過程，較為復雜，后面會專門介紹。

????域名解析成 IP 后，下一步是干嘛呢？

????還記得嗎？HTTP 是基于 TCP 協(xié)議的，所以接下來就是建立 TCP 連接了。具體的連接過程可點擊這里查看。

????目前使用的 HTTP 協(xié)議大部分都是 1.1.在 1.1 協(xié)議里面，默認開啟了 Keep-Alive 的，這樣建立的 TCP 連接，就可以在多次請求中復用。雖然 HTTP 用了各種方式來解決它存在的問題，但基于TCP 的它，每次建立連接的三次握手以及斷開連接的四次揮手，這個過程還是挺費時的。如果好不容易建立了連接，然后做一點兒事情就結束了，未免太浪費了。

????建立了連接以后，瀏覽器就要發(fā)送 HTTP 的請求。請求的格式如下圖：

????如圖，HTTP 的報文大概分為請求行、首部、正文實體三部分。接下來，咱們就來一一認識。

????在請求行中，URL 就是 http://blog.muzixizao.com，版本為 HTTP 1.1。這里要說一下的，就是對應的請求方法。有以下幾種類型：

1）GET 請求

????對于訪問網(wǎng)頁來講，最常用的類型就是 GET。顧名思義，GET 就是去服務器獲取一些資源。對于訪問網(wǎng)頁來講，要獲取的資源往往是一個頁面。其實也有很多其他的格式，比如返回一個 JSON 字符串。當然，具體要返回什么，是由服務端決定的。

????例如，在云計算中，如果我們的服務端要提供一個基于 HTTP 協(xié)議的 API，獲取所有云主機的列表，就會使用 GET 方法請求，返回的可能是一個 JSON 字符串，字符串里面是一個列表，列表里面會有各個云主機的信息。

2）POST 請求
????另一種類型叫做 POST。它需要主動告訴服務端一些信息，而非獲取。而要告訴服務端的信息，一般都放在正文里面。正文里有各種各樣的格式，最常見的的就是 JSON了。

????例如，我們平時的支付場景，客戶端就需要把 “我是誰？我要支付多少？我要買什么？” 這樣信息告訴服務器，這就需要 POST 方法。

????再如，在云計算里，如果我們的服務器，要提供一個基于 HTTP 協(xié)議的創(chuàng)建云主機的 API，也會用到 POST 方法。這個時候往往需要將 “我要創(chuàng)建多大的云主機？多少 CPU 和多少內存？多大硬盤？” 這些信息放在 JSON 字符串里面，通過 POST 的方法告訴服務器。

????除了上面常見的兩種類型，還有一種 PUT 類型，這種類型就是向指定資源位置上傳最新內容。但是 HTTP 的服務區(qū)往往是不允許上傳文件的，所以 PUT 和 POST 就都變成了要傳給服務器東西的方法。

????在我們的實際使用過程中，PUT 和 POST 還是有區(qū)別的。POST 往往是用來創(chuàng)建一個資源，而 PUT 往往是用來更新一個資源。

????例如，云主機已經(jīng)創(chuàng)建好了，想對云主機打一個標簽，說明這個云主機是生產(chǎn)環(huán)境的，另外一個云主機是測試環(huán)境的。我們修改標簽的請求往往就是用 PUT 方法。

????還有 DELETE 方法。這個是用來刪除資源的。

????請求行下面就是首部字段。首部是 key-value 格式，通過冒號分割。這里面，往往保存了一些非常重要的字段。

Accpet-Charset：客戶端可以接受的字符集。防止傳過來的字符串客戶端不支持，從而出現(xiàn)亂碼；

Content-Type：正文格式。我們進行 POST 請求時，如果正文是 JSON，我們就應該將這個值設置為 application/json；

緩存字段 Cache-Control、If-Modified-Since。

????這里重點認識下緩存字段。為什么要使用緩存呢？這是因為一個非常大的頁面有很多東西。

????例如，我們?yōu)g覽一個商品的詳情，里面有商品的價格、庫存、展示圖片、使用手冊等待。

????商品的展示圖片會保持較長時間不變，而庫存胡一根筋用戶購買情況經(jīng)常改變。如果圖片非常大，而庫存數(shù)非常小，如果我們每次要更新數(shù)據(jù)的時候都要刷新整個頁面，對于服務器的壓力也會很大。

????對于這種高并發(fā)場景下的系統(tǒng)，在真正的業(yè)務邏輯之前，都需要有個接入層，將這些靜態(tài)資源的請求攔在最外面。架構就像下圖：

????其中 DNS、CDN 會在后面的章節(jié)詳細說明。這里咱們就先來了解下 Nginx 這一層。它是如果處理 HTTP 協(xié)議呢？對于靜態(tài)資源，有 Vanish 緩存層，當緩存過期的時候，才會訪問真正的 Tomcat 應用集群。

????在 HTTP 頭里面，Cache-Control 是用來控制緩存的。當客戶端發(fā)送的請求中包含 max-age 指令時，如果判定緩存層中，資源的緩存時間數(shù)值比指定時間的數(shù)值校，那么客戶端可以接受緩存的資源；當指定 max-age 值為 0，那么緩存層通常需要將請求轉發(fā)給應用集群。

????另外，If-Modified-Since 也是關于緩存的字段，這個字段是說，如果服務器的資源在某個時間之后更新了，那么客戶端就應該下載最新的資源；如果沒有更新，服務端會返回“304 Not Modified” 的響應，那客戶端就不用下載了，也會節(jié)省帶寬。

????到此，我們拼湊起了 HTTP 請求的報文格式，接下來，瀏覽器會把它交給傳輸層。

????HTTP 協(xié)議是基于 TCP 協(xié)議的，所以它是以面向連接的方式發(fā)送請求，通過 stream 二進制流的方式傳給對方。當然，到了 TCP 層，它會把二進制流變成一個個的報文段發(fā)送給服務器。

????在發(fā)送給每個報文段的時候，都需要對方有一個回應 ACK，來保證報文可靠地到達了地方。如果沒有回應，那么 TCP 這一層會重新傳輸，直到可以到達。同一個包有可能被傳了好多次，但是 HTTP 這一層不需要知道這一點，因為是 TCP 這一層在埋頭苦干。

而后續(xù)傳輸過程如下：

TCP 層封裝目標地址和源地址。TCP 層發(fā)送每一個報文的時候，都需要加上自己的地址和它想要去的地址，將這兩個信息放到 IP 頭里面，交給 IP 層進行傳輸。

IP 層獲取 MAC 頭。IP 層需要查看目標地址和自己是否在同一個局域網(wǎng)。如果是，就發(fā)送 ARP 協(xié)議來請求這個目標地址對應的 MAC 地址，然后將源 MAC 和目標 MAC 放入 MAC 頭，發(fā)送出去；如果不在同一個局域網(wǎng)，就需要發(fā)送到網(wǎng)關，這里也要通過 ARP 協(xié)議來獲取網(wǎng)關的 MAC 地址，然后將源 MAC 和網(wǎng)關 MAC 放入 MAC 頭，發(fā)送出去。

網(wǎng)關轉發(fā)。網(wǎng)關收到包發(fā)現(xiàn) MAC 符合，取出目標 IP 地址，根據(jù)路由協(xié)議找到下一跳的路由器，獲取下一跳路由器的 MAC 地址，將包發(fā)給下一跳路由器。

數(shù)據(jù)包到達目標地址的局域網(wǎng)。通過 ARP 協(xié)議獲取目標地址的 MAC 地址，將包發(fā)出去。

目標地址檢查信息，返回 ACK。目標機器發(fā)現(xiàn)數(shù)據(jù)包中的 MAC 地址及 IP 地址都和本機匹配，就根據(jù) IP 頭中的協(xié)議類型，知道是 TCP 協(xié)議，解析 TCP 的頭，獲取序列號。判斷序列號是否是本機需要的，如果是，就放入緩存中然后返回一個 ACK，如果不是就丟棄。

根據(jù)端口號將數(shù)據(jù)包發(fā)送到指定應用。TCP 頭里面還有端口號，HTTP 的服務器正在監(jiān)聽這個端口號。于是，目標機器自然指定是 HTTP 服務器這個進程想要這個包，就把數(shù)據(jù)包發(fā)給 HTTP 服務器。

HTTP 服務器處理請求。HTTP 服務器根據(jù)請求信息進行處理，并返回數(shù)據(jù)給客戶端。

????HTTP 的返回報文也是有一定格式的，如下圖：

狀態(tài)行包含狀態(tài)碼和短語。狀態(tài)碼反應 HTTP 請求的結果。200 是大吉大利；404 則是我們最不想見到的，也就是服務端無法響應這個請求。短語中會說明出錯原因。

首部 key-value。這里常用的有以下字段：

Retry-After：客戶端應該在多長時間后再次嘗試連接；

Content-Type：返回數(shù)據(jù)格式

????構造好了返回的 HTTP 報文，接下來就是把這個報文發(fā)送出去。當然，還是交給 Socket 去發(fā)送，交給 TCP，讓 TCP 返回的 HTML 分成一個個小的數(shù)據(jù)段，并且保證每一段都安全到達。這些小的數(shù)據(jù)段會加上 TCP 頭，然后交給 IP 層，沿著來時的路反向走一遍。雖然不一定是完全相同的路徑，但是邏輯過程是一樣的，一直到達客戶端。

????客戶端取出數(shù)據(jù)后 ，會根據(jù)端口號交給指定的程序，這時候就是我們的瀏覽器出馬的時候。

????瀏覽器拿到了 HTTP 報文，發(fā)現(xiàn)返回 200，一切正常，就從正文中將 HTML 拿出來，展示出一個炫酷吊炸天的網(wǎng)頁。

????以上就是正常的 HTTP 請求與返回的完整過程。

????上面提到了，現(xiàn)在用到 HTTP 大多是 1.1 版本，而 HTTP 2.0 在 1.1 的基礎上進行了一些優(yōu)化，以期解決一些問題。

????HTTP 1.1 在應用層以純文本的形式進行通信。每次通信都要帶完整的 HTTP 頭，而且不考慮 pipeline 模式的話，每次的過程都要像上面描述的那樣一去一回。顯然，在效率上會存在問題。

????為了解決這些問題，HTTP 2.0 會對 HTTP 頭進行一定的壓縮，將原來每次都要攜帶的大量 key-value 對在兩端建立一個索引表，對相同的頭只發(fā)送索引表中的索引。

????另外，HTTP 2.0 協(xié)議將一個 TCP 連接切分成多個流，每個流都有自己的 ID，而且流可以是客戶端發(fā)給服務端，也可以是服務端發(fā)給客戶端，它其實只是個虛擬的通道，除此之外，它還有優(yōu)先級。

????HTTP 2.0 將所有的傳輸信息分割成更小的消息和幀，并對它們采用二進制格式編碼。常見的幀有 Header 幀，用于傳輸 Header 內容，并且會開啟一個新的流。還有 Data 幀，用來傳輸正文實體，并且多個 Data 幀屬于同個流。

????通過這兩種機制，HTTP 2.0 的客戶端可以將多個請求分到不同的流中， 然后將請求內容拆分成幀，進行二進制傳輸。這些幀可以打散亂序發(fā)送，然后根據(jù)幀首部的流標識符重新組裝，并且可以根據(jù)優(yōu)先級，決定先處理哪個流的數(shù)據(jù)。

????針對 HTTP 2.0，我們來看一個例子。

????假設我們有一個頁面要發(fā)送三個獨立的請求，一個獲取 CSS、一個獲取 JS、一個獲取圖片 jsg。如果使用 HTTP 1.1，這三個請求就是串行的，但是如果使用 HTTP 2.0，就可以在一個連接里，客戶端和服務端同時反思多個請求和回應，而且不用按照順序一對一對應。

????如上圖。HTTP 2.0 其實是將三個請求變成三個流，將數(shù)據(jù)分成幀，亂序發(fā)送到一個 TCP 連接中。

????HTTP 2.0 成功解決了 HTTP 1.1 的隊首阻塞問題。同時，也不需要通過 HTTP 1.x 的 pipeline 機制用多條 TCP 連接來實現(xiàn)并行請求與響應，減少了 TCP 連接數(shù)對服務器性能的影響，加快頁面組件的傳輸速度。

????HTTP 2.0 雖然大大增加了并發(fā)性，但由于 TCP 協(xié)議的按序處理的特性，還是會出現(xiàn)阻塞的問題。

????還記得咱們之前說過的 QUIC 協(xié)議嗎？這時候就是它登場的時候了。

????它用以下四個機制，解決了 TCP 存在的一些問題。

機制一：自定義連接機制

????我們知道，一條 TCP 連接是由四元組標識的。一旦一個元素發(fā)生變化，就需要端口重連。這在移動互聯(lián)網(wǎng)的情況下，當我們切換網(wǎng)絡或者信號不穩(wěn)定時，都會導致重連，從而增加時延。

????TCP 沒辦法解決上述問題，但是 QUCI 基于 UDP 協(xié)議，就可以在自己的邏輯里面維護連接的機制，不再以四元組標識，而是以一個 64 位的隨機數(shù)作為標識 ID，而且 UDP 是無連接的，只要 ID 不變，就不需要重新建立連接。

機制二：自定義重傳機制
????TCP 為了保證可靠性，通過使用序號和應答機制，來解決順序問題和丟包問題。

????任何一個序號的包發(fā)出去，都要在一定時間內得到應答，否則就會超時重發(fā)。這個超時時間就是通過采樣往返時間 RTT 不斷調整的。其實，這個超時時間的采樣是不太準確的。

????如上圖。發(fā)送一個包，序號為 100，超時后，再發(fā)送一個 100。然后收到了一個 ACK101。這個時候客戶端知道服務器已經(jīng)收到了 100，但是往返時間怎么計算呢？是 ACK 到達時間減去后一個 100 發(fā)送的時間，還是減去前一個 100 發(fā)送的時間呢？前者把時間算短了，后者把時間算長了。

????QUIC 也有一個序列號，是完全遞增的。任何一個包發(fā)送一次后，下一次序列號就要加一。像我們上面的例子，在 QUIC 協(xié)議中，100 的包沒有返回，再次發(fā)送時，序號就是 101 了，如果返回是 ACK100，就是對第一個包的響應，如果返回 ACK101，就是對第二個包的響應，RTT 時間計算相對準確，過程如下圖：

????上面的過程中，有的童鞋可能會問了，兩個序號不一樣的包，服務器怎么知道是同樣的內容呢？沒錯，這確實是個問題。為了解決這個問題，QUIC 協(xié)議定義了一個 Offset 的概念。

????QUIC 既然是面向連接的，也就像 TCP 一樣，是一個數(shù)據(jù)流。，發(fā)送的數(shù)據(jù)在這個流里面都有個偏移量 Offset，可以通過 Offset 查看數(shù)據(jù)發(fā)送到了那里，這樣只要這個 Offset 的包沒有來，就要重發(fā)。如果來了，就按照 Offset 拼接成一個流。

機制三：無阻塞的多路復用
????有了自定義的連接和重傳機制，我們就可以解決上面 HTTP 2.0 的多路復用問題。

????同 HTTP 2.0 一樣，同一條 QUIC 連接上可以創(chuàng)建多個 stream，來發(fā)送多個 HTTP 請求。更棒的是，QUIC 是基于 UDP 的，一個連接上的多個 stream 之間沒有依賴。這樣，假如 stream2 丟了一個 UDP 包，后面跟著 stream3 的一個 UDP 包，雖然 stream2 的那個包需要重傳，但是 stream3 的包無需等待，就可以發(fā)給用戶。

機制四：自定義流量控制
????TCP 的流量控制是通過滑動窗口協(xié)議。QUIC 的流量控制也是通過 window_update，來告訴對端它可以接受的字節(jié)數(shù)。但是 QUIC 的窗口是適應自己的多路復用機制的，不但在一個連接上控制窗口，還在一個連接中的每個 stream 控制窗口。

????還記得嗎？在 TCP 協(xié)議中，接收端的窗口的起始點是下一個要接收并且 ACK 的包，即便后來的包都到了，放在緩存里面，窗口也不能右移，因為 TCP 的 ACK 機制是基于序列號的累計應答，一旦 ACK 一個序列號，就說明前面的都到了，所以只要前面的沒到，后面的即使到了也不能 ACK，就會導致后面的到了，也有可能超時重傳，浪費帶寬。

????QUIC 的 ACK 是基于 offset 的，每個 offset 的包來了，進了緩存，就可以應答，應答后就不會重發(fā)，中間的空檔會等待到來或者重發(fā)即可，而窗口的起始位置為當前收到的最大 offset，從這個 offset 到當前的 stream 所能容納的最大緩存，是真正的窗口大小，顯然，這樣更加準確。

????另外，還有整個連接的窗口，需要對于所有的 stream 的窗口做一個統(tǒng)計。

HTTP 協(xié)議雖然很常用，也很復雜，我們只需要重點記住 GET、POST、PUT、DELETE 這幾個方法，以及重要的首部字段；

HTTP 2.0 通過頭壓縮、分幀、二進制編碼、多路復用等技術提升性能；

QUIC 協(xié)議通過基于 UDP 自定義的類似 TCP 的連接、重試、多路復用、流量控制技術，進一步提升性能。

參考：

The TCP/IP Guide；

百度百科 - HTTP 詞條；

劉超 - 趣談網(wǎng)絡協(xié)議系列課；