摘要：初步列了以下方案用實現擅長，通過重定向將的輸出傳給，處理完后執行系統命令清除鏡像。對鏡像列表進行去重操作可以以鏡像名稱為進行去重獲取歷史鏡像要保留最近個鏡像清除歷史鏡像，其實就是保留數據前行，有個內置變量保存當前處理行編號。

雖然對awk早有耳聞，據說是個很強大的工具，但一直沒機會去了解和使用，最近碰到一個需求，用awk輕松解決，才真正一窺它的厲害。
需求是這樣的，應用每次升級都會構建一個新的容器鏡像，時間久了，服務器上會積累很多歷史鏡像，而且因為鏡像本身比較大，磁盤消耗特別快，因此需要寫一個腳本定期保留最近N個鏡像，清除其余歷史鏡像。
初步列了以下方案

用java實現(擅長java～～)，通過重定向將docker images的輸出傳給java，java處理完后執行系統命令清除鏡像。

用python處理。

用bash處理。

java方案雖然可行，但想想代碼量就不小，既要處理字符串，又要調用系統命令，而且把java拿來做這種事，總感覺怪怪的。pass。
python不熟，又懶得去學，學完之后估計很長時間不會再用，下次用的時候還得去學，性價比不高，pass。
最理想的就是bash，正宗的腳本語言，但是否有足夠能力處理字符串，需要做技術調研，這時想到了awk。

awk不只是linux的一個工具，由于awk腳本具有編程語言三要素，順序，循環，判斷，awk還是一門編程語言，主要用于數據處理和數據計算。awk對文本進行行掃描，以行為單位進行處理，按照以下邏輯進行處理

pattern { action }
pattern { action }
....

其中pattern是匹配條件，action是pattern匹配后執行的動作。
上面提到awk對文本以行為單位進行處理，讀取行后，awk默認以空格為切割符對行進行切割(split)操作并按順序存放在變量$1$2,$3....中，其中$0表示完整行數據，這些變量可以用于pattern和action。
舉個例子，比如用ps -ef列出目前系統進程

zhengjianfengdeMacBook-Pro:shell asan$ ps -ef
  UID   PID  PPID   C STIME   TTY           TIME CMD
    0     1     0   0 17 418  ??        21:55.75 /sbin/launchd
    0    37     1   0 17 418  ??         1:50.35 /usr/libexec/UserEventAgent (System)
    0    38     1   0 17 418  ??         0:37.59 /usr/sbin/syslogd
    0    40     1   0 17 418  ??         0:14.22 /System/Library/PrivateFrameworks/Uninstall.framework/Resources/uninstalld
    0    41     1   0 17 418  ??         0:09.93 /usr/libexec/kextd
    0    42     1   0 17 418  ??         4:15.97 /System/Library/Frameworks/CoreServices.framework/Versions/A/Frameworks/FSEvents.framework/Versions/A/Support/fseventsd
    0    44     1   0 17 418  ??         0:36.08 /opt/cisco/anyconnect/bin/vpnagentd -execv_instance
   55    48     1   0 17 418  ??         0:03.84 /System/Library/CoreServices/appleeventsd --server

如果我們想要打印出第二列PID的值可以這么寫

zhengjianfengdeMacBook-Pro:shell asan$ ps -ef|awk "{print $2}"
PID
1
37
38
40
41
42
44
48

如果想要打印PID大于40值可以這么寫

zhengjianfengdeMacBook-Pro:shell asan$ ps -ef|awk "$2>40 {print $2}"
PID
41
42
44
48

本文不是awk入門教程，如果想了解更多awk基本用法，可以閱讀以下兩篇文章：
http://awk.readthedocs.io/en/...
http://www.runoob.com/linux/l...

獲取目前系統鏡像列表可以通過命令docker images獲取，輸出格式如下

[root@definesys /]# docker images
REPOSITORY                                                   TAG                 IMAGE ID            CREATED             SIZE
docker.io/xxxxx-authority-ms                                 v1.0.3              02da1a24ac2c        4 days ago          692 MB
docker.io/xxxxx-authority-ms                                 v1.0.2              4a36396f0fea        4 days ago          692 MB
docker.io/xxxxx-uc-user-ms                                   v.1.1.11            6f0db317c7a9        5 days ago          695 MB
docker.io/xxxxx-uc-user-ms                                   v.1.1.10            26983c00bb73        6 days ago          695 MB
docker.io/xxxxx-uc-user-ms                                   v1.1.9              f21d59255405        7 days ago          695 MB

獲取鏡像列表

第一步就是要先獲取系統的鏡像列表，也就是對REPOSITORY進行去重操作，awk去重有個經典的寫法。

awk "!a[$0]++ {print $0}"

聲明一個hash數組a并且以$0即行數據為key,第一次a[$0]值是未定義的(undef)取反后為true輸出，++對a[$0]進行賦值，賦值后a[$0]值為1，第二次a[$0]為1，取反后為0，0++還是0不輸出。
對鏡像列表進行去重操作可以以鏡像名稱(REPOSITORY)為key進行去重

docker images|awk "!a[$1]++ {print $1}"

獲取歷史鏡像

要保留最近N個鏡像清除歷史鏡像，其實就是保留數據前N行，awk有個內置變量NR保存當前處理行編號。結合第一步獲取的鏡像名稱可以先grep出指定鏡像列表，再用awk進行篩選.

docker images|grep $image|awk "NR > 4 {printf "%s:%s:%s
",$1,$2,$3}"

完整腳本

#!/bin/sh
#create by jianfeng.zheng
#group docker images
for image in `docker images|awk "!a[$1]++ {print $1}"`
do
        for m in `docker images|grep $image|awk "NR > 4 {printf "%s:%s:%s
",$1,$2,$3}"`
        do
                id=`echo $m|awk -F ":" "{print $3}"`
                ##do delete
                echo "delete docker== > "$m
        done
done

awk還有很多功能待挖掘，但可以肯定的是，以后Linux上數據處理的工作，首選方案就是awk。