資訊專欄INFORMATION COLUMN
摘要：非貪婪模式盡可能少的匹配所搜索的字符串，而默認的貪婪模式則盡可能多的匹配所搜索的字符串。
導讀
你有沒有在搜索文本的時候絞盡腦汁, 試了一個又一個表達式, 還是不行.
你有沒有在表單驗證的時候, 只是做做樣子(只要不為空就好), 然后燒香拜佛, 虔誠祈禱, 千萬不要出錯.
你有沒有在使用sed 和 grep 命令的時候, 感覺莫名其妙, 明明應該支持的元字符, 卻就是匹配不到.
甚至, 你壓根沒遇到過上述情況, 你只是一遍又一遍的調用 replace 而已 (把非搜索文本全部替換為空, 然后就只剩搜索文本了), 面對別人家的簡潔高效的語句, 你只能在心中吶喊, replace 大法好.
為什么要學正則表達式. 有位網友這么說: 江湖傳說里, 程序員的正則表達式和醫生的處方, 道士的鬼符齊名, 曰: 普通人看不懂的三件神器. 這個傳說至少向我們透露了兩點信息: 一是正則表達式很牛, 能和醫生的處方, 道士的鬼符齊名, 并被大家提起, 可見其江湖地位. 二是正則表達式很難, 這也從側面說明了, 如果你可以熟練的掌握并應用它, 在裝逼的路上, 你將如日中天 (別問我中天是誰……) !
顯然, 有關正則表達的介紹, 無須我多言. 這里就借助 Jeffrey Friedl 的《精通正則表達式》一書的序言正式拋個磚.
? "如果羅列計算機軟件領域的偉大發明, 我相信絕對不會超過二十項, 在這個名單當中, 當然應該包括分組交換網絡, Web, Lisp, 哈希算法, UNIX, 編譯技術, 關系模型, 面向對象, XML這些大名鼎鼎的家伙, 而正則表達式也絕對不應該被漏掉.
? 對很多實際工作而言, 正則表達式簡直是靈丹妙藥, 能夠成百倍的提高開發效率和程序質量, 正則表達式在生物信息學和人類基因圖譜的研究中所發揮的關鍵作用, 更是被傳為佳話. CSDN的創始人蔣濤先生在早年開發專業軟件產品時, 就曾經體驗過這一工具的巨大威力, 并且一直印象深刻."
因此, 我們沒有理由不去了解正則表達式, 甚至是熟練掌握并運用它.
本文以正則基礎語法開篇, 結合具體實例, 逐步講解正則表達式匹配原理. 代碼實例使用語言包括 js, php, python, java(因有些匹配模式, js并未支持, 需要借助其他語言講解). 內容包括初階技能和高階技能, 適合新手學習和進階. 本文力求簡單通俗易懂, 同時為求全面, 涉及知識較多, 共計12k字, 篇幅較長, 請耐心閱讀, 如有閱讀障礙請及時聯系我.
回顧歷史要論正則表達式的淵源, 最早可以追溯至對人類神經系統如何工作的早期研究. Warren McCulloch 和 Walter Pitts 這兩位神經大咖 (神經生理學家) 研究出一種數學方式來描述這些神經網絡.
1956 年, 一位叫 Stephen Kleene 的數學家在 McCulloch 和 Pitts 早期工作的基礎上, 發表了一篇標題為"神經網事件的表示法"的論文, 引入了正則表達式的概念.
隨后, 發現可以將這一工作應用于使用 Ken Thompson 的計算搜索算法的一些早期研究中. 而 Ken Thompson 又是 Unix 的主要發明人. 因此半個世紀以前的Unix 中的 qed 編輯器(1966 qed編輯器問世) 成了第一個使用正則表達式的應用程序.
至此之后, 正則表達式成為家喻戶曉的文本處理工具, 幾乎各大編程語言都以支持正則表達式作為賣點, 當然 JavaScript 也不例外.
正則表達式的定義正則表達式是由普通字符和特殊字符(也叫元字符或限定符)組成的文字模板. 如下便是簡單的匹配連續數字的正則表達式:
/[0-9]+/ /d+/
"d" 就是元字符, 而 "+" 則是限定符.
元字符| 元字符 | 描述 |
|---|---|
| . | 匹配除換行符以外的任意字符 |
| d | 匹配數字, 等價于字符組[0-9] |
| w | 匹配字母, 數字, 下劃線或漢字 |
| s | 匹配任意的空白符(包括制表符,空格,換行等) |
| 匹配單詞開始或結束的位置 | |
| ^ | 匹配行首 |
| $ | 匹配行尾 |
| 元字符 | 描述 |
|---|---|
| D | 匹配非數字的任意字符, 等價于[^0-9] |
| W | 匹配除字母,數字,下劃線或漢字之外的任意字符 |
| S | 匹配非空白的任意字符 |
| B | 匹配非單詞開始或結束的位置 |
| [^x] | 匹配除x以外的任意字符 |
可以看出正則表達式嚴格區分大小寫.
重復限定符限定符共有6個, 假設重復次數為x次, 那么將有如下規則:
| 限定符 | 描述 |
|---|---|
| * | x>=0 |
| + | x>=1 |
| ? | x=0 or x=1 |
| {n} | x=n |
| {n,} | x>=n |
| {n,m} | n<=x<=m |
[...] 匹配中括號內字符之一. 如: [xyz] 匹配字符 x, y 或 z. 如果中括號中包含元字符, 則元字符降級為普通字符, 不再具有元字符的功能, 如 [+.?] 匹配 加號, 點號或問號.
排除性字符組[^…] 匹配任何未列出的字符,. 如: [^x] 匹配除x以外的任意字符.
多選結構| 就是或的意思, 表示兩者中的一個. 如: a|b 匹配a或者b字符.
括號括號 常用來界定重復限定符的范圍, 以及將字符分組. 如: (ab)+ 可以匹配abab..等, 其中 ab 便是一個分組.
轉義字符即轉義字符, 通常 * + ? | { [ ( ) ] }^ $ . # 和 空白 這些字符都需要轉義.
操作符的運算優先級轉義符
(), (?:), (?=), [] 圓括號或方括號
*, +, ?, {n}, {n,}, {n,m} 限定符
^, $ 位置
| "或" 操作
測試我們來測試下上面的知識點, 寫一個匹配手機號碼的正則表達式, 如下:
(+86)?1d{10}
① "+86" 匹配文本 "+86", 后面接元字符問號, 表示可匹配1次或0次, 合起來表示 "(+86)?" 匹配 "+86" 或者 "".
② 普通字符"1" 匹配文本 "1".
③ 元字符 "d" 匹配數字0到9, 區間量詞 "{10}" 表示匹配 10 次, 合起來表示 "d{10}" 匹配連續的10個數字.
以上, 匹配結果如下:
修飾符javaScript中正則表達式默認有如下五種修飾符:
g (全文查找), 如上述截圖, 實際上就開啟了全文查找模式.
i (忽略大小寫查找)
m (多行查找)
y (ES6新增的粘連修飾符)
u (ES6新增)
常用的正則表達式漢字: ^[u4e00-u9fa5]{0,}$
Email: ^w+([-+.]w+)*@w+([-.]w+)*.w+([-.]w+)*$
URL: ^https?://([w-]+.)+[w-]+(/[w-./?%&=]*)?$
手機號碼: ^1d{10}$
身份證號: ^(d{15}|d{17}(d|X))$
中國郵政編碼: [1-9]d{5}(?!d) (郵政編碼為6位數字)
密碼驗證密碼驗證是常見的需求, 一般來說, 常規密碼大致會滿足規律: 6-16位, 數字, 字母, 字符至少包含兩種, 同時不能包含中文和空格. 如下便是常規密碼驗證的正則描述:
var reg = /(?!^[0-9]+$)(?!^[A-z]+$)(?!^[^A-z0-9]+$)^[^su4e00-u9fa5]{6,16}$/;
正則的幾大家族
正則表達式分類
在 linux 和 osx 下, 常見的正則表達式, 至少有以下三種:
基本的正則表達式( Basic Regular Expression 又叫 Basic RegEx 簡稱 BREs )
擴展的正則表達式( Extended Regular Expression 又叫 Extended RegEx 簡稱 EREs )
Perl 的正則表達式( Perl Regular Expression 又叫 Perl RegEx 簡稱 PREs )
正則表達式比較| 字符 | 說明 | Basic RegEx | Extended RegEx | python RegEx | Perl regEx |
|---|---|---|---|---|---|
| 轉義 | |||||
| ^ | 匹配行首，例如"^dog"匹配以字符串dog開頭的行（注意：awk 指令中，"^"則是匹配字符串的開始） | ^ | ^ | ^ | ^ |
| $ | 匹配行尾，例如："^、dog$" 匹配以字符串 dog 為結尾的行（注意：awk 指令中，"$"則是匹配字符串的結尾） | $ | $ | $ | $ |
| ^$ | 匹配空行 | ^$ | ^$ | ^$ | ^$ |
| ^string$ | 匹配行，例如："^dog$"匹配只含一個字符串 dog 的行 | ^string$ | ^string$ | ^string$ | ^string$ |
| < | 匹配單詞，例如："| < |
< |
不支持 |
不支持（但可以使用b來匹配單詞，例如："bfrog"） |
|
| > | 匹配單詞，例如："frog>"（等價于"frogb "），匹配以 frog 結尾的單詞 | > | > | 不支持 | 不支持（但可以使用b來匹配單詞，例如："frogb"） |
| 匹配一個單詞或者一個特定字符，例如：" |
不支持 | 不支持（但可以使用b來匹配單詞，例如："bfrogb" | |||
| () | 匹配表達式，例如：不支持"（frog）" | 不支持（但可以使用，如：dog | () | () | () |
| 匹配表達式，例如：不支持"（frog）" | 不支持（同()) | 不支持（同()) | 不支持（同()) | ||
| ？ | 匹配前面的子表達式 0 次或 1 次（等價于{0,1}），例如：where(is)?能匹配"where" 以及"whereis" | 不支持（同?) | ？ | ？ | ？ |
| ? | 匹配前面的子表達式 0 次或 1 次（等價于"{0,1}"），例如："whereis? "能匹配 "where"以及"whereis" | ? | 不支持（同?) | 不支持（同?) | 不支持（同?) |
| ? | 當該字符緊跟在任何一個其他限制符（*, +, ?, {n},{n,}, {n,m}） 后面時，匹配模式是非貪婪的。非貪婪模式盡可能少的匹配所搜索的字符串，而默認的貪婪模式則盡可能多的匹配所搜索的字符串。例如，對于字符串 "oooo"，"o+?" 將匹配單個"o"，而 "o+" 將匹配所有 "o" | 不支持 | 不支持 | 不支持 | 不支持 |
| . | 匹配除換行符（"n"）之外的任意單個字符（注意：awk 指令中的句點能匹配換行符） | . | .（如果要匹配包括“n”在內的任何一個字符，請使用: [sS] | . | .（如果要匹配包括“n”在內的任何一個字符，請使用：" [.n] " |
| * | 匹配前面的子表達式 0 次或多次（等價于{0, }），例如：zo* 能匹配 "z"以及 "zoo" | * | * | * | * |
| + | 匹配前面的子表達式 1 次或多次（等價于"{1, }"），例如："whereis+ "能匹配 "whereis"以及"whereisis" | + | 不支持（同+) | 不支持（同+) | 不支持（同+) |
| + | 匹配前面的子表達式 1 次或多次（等價于{1, }），例如：zo+能匹配 "zo"以及 "zoo"，但不能匹配 "z" | 不支持（同+) | + | + | + |
| {n} | n 必須是一個 0 或者正整數，匹配子表達式 n 次，例如：zo{2}能匹配 | 不支持（同{n}) | {n} | {n} | {n} |
| {n,} | "zooz"，但不能匹配 "Bob"n 必須是一個 0 或者正整數，匹配子表達式大于等于 n次，例如：go{2,} | 不支持（同{n,}) | {n,} | {n,} | {n,} |
| {n,m} | 能匹配 "good"，但不能匹配 godm 和 n 均為非負整數，其中 n <= m，最少匹配 n 次且最多匹配 m 次 ，例如：o{1,3}將配"fooooood" 中的前三個 o（請注意在逗號和兩個數之間不能有空格） | 不支持（同{n,m}) | {n,m} | {n,m} | {n,m} |
| x l y | 匹配 x 或 y | 不支持（同x l y | x l y | x l y | x l y |
| [0-9] | 匹配從 0 到 9 中的任意一個數字字符（注意：要寫成遞增） | [0-9] | [0-9] | [0-9] | [0-9] |
| [xyz] | 字符集合，匹配所包含的任意一個字符，例如："[abc]"可以匹配"lay" 中的 "a"（注意：如果元字符，例如：. *等，它們被放在[ ]中，那么它們將變成一個普通字符） | [xyz] | [xyz] | [xyz] | [xyz] |
| [^xyz] | 負值字符集合，匹配未包含的任意一個字符（注意：不包括換行符），例如："[^abc]" 可以匹配 "Lay" 中的"L"（注意：[^xyz]在awk 指令中則是匹配未包含的任意一個字符+換行符） | [^xyz] | [^xyz] | [^xyz] | [^xyz] |
| [A-Za-z] | 匹配大寫字母或者小寫字母中的任意一個字符（注意：要寫成遞增） | [A-Za-z] | [A-Za-z] | [A-Za-z] | [A-Za-z] |
| [^A-Za-z] | 匹配除了大寫與小寫字母之外的任意一個字符（注意：寫成遞增） | [^A-Za-z] | [^A-Za-z] | [^A-Za-z] | [^A-Za-z] |
| d | 匹配從 0 到 9 中的任意一個數字字符（等價于 [0-9]） | 不支持 | 不支持 | d | d |
| D | 匹配非數字字符（等價于 1） | 不支持 | 不支持 | D | D |
| S | 匹配任何非空白字符（等價于2） | 不支持 | 不支持 | S | S |
| s | 匹配任何空白字符，包括空格、制表符、換頁符等等（等價于[ fnrtv]） | 不支持 | 不支持 | s | s |
| W | 匹配任何非單詞字符 (等價于3) | W | W | W | W |
| w | 匹配包括下劃線的任何單詞字符（等價于[A-Za-z0-9_]） | w | w | w | w |
| B | 匹配非單詞邊界，例如："erB" 能匹配 "verb" 中的"er"，但不能匹配"never" 中的"er" | B | B | B | B |
| 匹配一個單詞邊界，也就是指單詞和空格間的位置，例如： "erb" 可以匹配"never" 中的 "er"，但不能匹配 "verb" 中的"er" | |||||
| 匹配一個橫向制表符（等價于 x09和 cI） | 不支持 | 不支持 | |||
| v | 匹配一個垂直制表符（等價于 x0b和 cK） | 不支持 | 不支持 | v | v |
| 匹配一個換行符（等價于 x0a 和cJ） | 不支持 | 不支持 | |||
| f | 匹配一個換頁符（等價于x0c 和cL） | 不支持 | 不支持 | f | f |
| 匹配一個回車符（等價于 x0d 和cM） | 不支持 | 不支持 | |||
| 匹配轉義字符本身"" | |||||
| cx | 匹配由 x 指明的控制字符，例如：cM匹配一個Control-M 或回車符，x 的值必須為A-Z 或 a-z 之一，否則，將 c 視為一個原義的 "c" 字符 | 不支持 | 不支持 | cx | |
| xn | 匹配 n，其中 n 為十六進制轉義值。十六進制轉義值必須為確定的兩個數字長，例如："x41" 匹配 "A"。"x041" 則等價于"x04" & "1"。正則表達式中可以使用 ASCII 編碼 | 不支持 | 不支持 | xn | |
| num | 匹配 num，其中 num是一個正整數。表示對所獲取的匹配的引用 | 不支持 | num | num | |
| [:alnum:] | 匹配任何一個字母或數字（[A-Za-z0-9]），例如："[[:alnum:]] " | [:alnum:] | [:alnum:] | [:alnum:] | [:alnum:] |
| [:alpha:] | 匹配任何一個字母（[A－Za－z]）， 例如：" [[:alpha:]] " | [:alpha:] | [:alpha:] | [:alpha:] | [:alpha:] |
| [:digit:] | 匹配任何一個數字（[0-9]），例如："[[:digit:]] " | [:digit:] | [:digit:] | [:digit:] | [:digit:] |
| [:lower:] | 匹配任何一個小寫字母（[a-z]）， 例如：" [[:lower:]] " | [:lower:] | [:lower:] | [:lower:] | [:lower:] |
| [:upper:] | 匹配任何一個大寫字母（[A-Z]） | [:upper:] | [:upper:] | [:upper:] | [:upper:] |
| [:space:] | 任何一個空白字符： 支持制表符、空格，例如：" [[:space:]] " | [:space:] | [:space:] | [:space:] | [:space:] |
| [:blank:] | 空格和制表符（橫向和縱向），例如："[[:blank:]]"ó"[stv]" | [:blank:] | [:blank:] | [:blank:] | [:blank:] |
| [:graph:] | 任何一個可以看得見的且可以打印的字符（注意：不包括空格和換行符等），例如："[[:graph:]] " | [:graph:] | [:graph:] | [:graph:] | [:graph:] |
| [:print:] | 任何一個可以打印的字符（注意：不包括：[:cntrl:]、字符串結束符"0"、EOF 文件結束符（-1）， 但包括空格符號），例如："[[:print:]] " | [:print:] | [:print:] | [:print:] | [:print:] |
| [:cntrl:] | 任何一個控制字符（ASCII 字符集中的前 32 個字符，即：用十進制表示為從 0 到31，例如：換行符、制表符等等），例如：" [[:cntrl:]]" | [:cntrl:] | [:cntrl:] | [:cntrl:] | [:cntrl:] |
| [:punct:] | 任何一個標點符號（不包括：[:alnum:]、[:cntrl:]、[:space:]這些字符集） | [:punct:] | [:punct:] | [:punct:] | [:punct:] |
| [:xdigit:] | 任何一個十六進制數（即：0-9，a-f，A-F） | [:xdigit:] | [:xdigit:] | [:xdigit:] | [:xdigit:] |
注意
js中支持的是EREs.
當使用 BREs ( 基本正則表達式 ) 時，必須在下列這些符號(?,+,|,{,},(,))前加上轉義字符 .
上述[[:xxxx:]] 形式的正則表達式, 是php中內置的通用字符簇, js中并不支持.
linux/osx下常用命令與正則表達式的關系我曾經嘗試在 grep 和 sed 命令中書寫正則表達式, 經常發現不能使用元字符, 而且有時候需要轉義, 有時候不需要轉義, 始終不能摸清它的規律. 如果恰好你也有同樣的困惑, 那么請往下看, 相信應該能有所收獲.
grep , egrep , sed , awk 正則表達式特點grep 支持：BREs、EREs、PREs 正則表達式
grep 指令后不跟任何參數, 則表示要使用 "BREs"
grep 指令后跟 ”-E" 參數, 則表示要使用 "EREs"
grep 指令后跟 “-P" 參數, 則表示要使用 "PREs"
egrep 支持：EREs、PREs 正則表達式
egrep 指令后不跟任何參數, 則表示要使用 "EREs"
egrep 指令后跟 “-P" 參數, 則表示要使用 "PREs"
sed 支持: BREs、EREs
sed 指令默認是使用 "BREs"
sed 指令后跟 "-r" 參數 , 則表示要使用“EREs"
awk 支持 EREs, 并且默認使用 "EREs"
正則表達式初階技能 貪婪模式與非貪婪模式默認情況下, 所有的限定詞都是貪婪模式, 表示盡可能多的去捕獲字符; 而在限定詞后增加?, 則是非貪婪模式, 表示盡可能少的去捕獲字符. 如下:
var str = "aaab",
reg1 = /a+/, //貪婪模式
reg2 = /a+?/;//非貪婪模式
console.log(str.match(reg1)); //["aaa"], 由于是貪婪模式, 捕獲了所有的a
console.log(str.match(reg2)); //["a"], 由于是非貪婪模式, 只捕獲到第一個a
實際上, 非貪婪模式非常有效, 特別是當匹配html標簽時. 比如匹配一個配對出現的div, 方案一可能會匹配到很多的div標簽對, 而方案二則只會匹配一個div標簽對.
