摘要:以默認的日志格式為例各字段的含義分別是請求者授權用戶,如果不使用認證方式,其值為空服務器時間戳請求類型如,等請求路徑不含參數協議版本服務器返回的狀態碼如,,等服務器響應報文大小,單位字段值字段以下列舉常用的日志分析命令根據狀態碼進行請求
Access logs
以nginx默認的日志格式為例:
$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent"
各字段的含義分別是:
$remote_addr 請求者IP
$remote_user HTTP授權用戶,如果不使用Http-based認證方式,其值為空
[$time_local] 服務器時間戳
"$request" HTTP請求類型(如GET,POST等)+HTTP請求路徑(不含參數)+HTTP協議版本
$status 服務器返回的狀態碼(如200,404,5xx等)
$body_bytes_sent 服務器響應報文大小,單位byte
"$http_referer" referer字段值
"$http_user_agent" User Agent字段
以下列舉常用的日志分析命令
根據狀態碼進行請求次數排序cat access.log | cut -d """ -f3 | cut -d " " -f2 | sort | uniq -c | sort -r
輸出樣例:
210433 200 38587 302 17571 304 4544 502 2616 499 1144 500 706 404 355 504 355 301 252 000 9 403 6 206 2 408 2 400
或者使用awk:
awk "{print $9}" access.log | sort | uniq -c | sort -r
上例顯示有704次404請求,接下來是如何找到這些請求的URL
awk "($9 ~ /404/)" access.log | awk "{print $7}" | sort | uniq -c | sort -r
輸出樣列:
21 /members/katrinakp/activity/2338/ 19 /blogger-to-wordpress/robots.txt 14 /rtpanel/robots.txt
接下來考慮如果找到這些請求的IP地址,使用命令:
awk -F" "($2 ~ "/wp-admin/install.php"){print $1}" access.log | awk "{print $1}" | sort | uniq -c | sort -r
輸出樣例:
14 50.133.11.248 12 97.106.26.244 11 108.247.254.37 10 173.22.165.123
php后綴的404請求(通常是嗅探)
awk "($9 ~ /404/)" access.log | awk -F" "($2 ~ "^GET .*.php")" | awk "{print $7}" | sort | uniq -c | sort -r | head -n 20按URL的請求數排序
awk -F" "{print $2}" access.log | awk "{print $2}" | sort | uniq -c | sort -r
url包含XYZ:
awk -F" "($2 ~ "ref"){print $2}" access.log | awk "{print $2}" | sort | uniq -c | sort -r
文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。
轉載請注明本文地址:http://specialneedsforspecialkids.com/yun/39056.html
摘要:日志文件總管日志輪轉工具可以自動對日志文件提供截斷壓縮以及輪轉的功能。使用假設我們現在有一個日志文件存儲在,需要對其每日進行切分為新舊兩個日志文件,并刪除天前的舊日志。以后系統就會對該日志進行自動的輪轉管理。 部署網絡應用時,會對請求進行日志保存,用于數據統計分析以及故障排除,但對于高并發請求的服務器,日志文件會迅速增長,快速的消耗磁盤空間,同時,分析一個大文件來排查問題也會非常慢。因...
摘要:通過通過入庫后使用進行查詢的方式可以通過如下種圖片來查看在上圖中主要是查看日志中請求狀態碼的總數量。 原文地址: http://52sox.com/use-mongodb-... 在項目開發過程中,總是離不開日志解析的工作,雖然有些時候覺得確實挺繁瑣的,但是靜下心來會發現有時候也是挺有趣的1件工作。 在這里,我們要從日志文件中找出IP訪問最多的10條記錄,然后判斷其是否合法,從而采取...
閱讀 3712·2021-10-12 10:11
閱讀 1979·2019-08-30 15:53
閱讀 1588·2019-08-30 13:15
閱讀 2302·2019-08-30 11:25
閱讀 1797·2019-08-29 11:24
閱讀 1647·2019-08-26 13:53
閱讀 3521·2019-08-26 13:22
閱讀 1747·2019-08-26 10:24