資訊專欄INFORMATION COLUMN
數據庫日志看看，是不是有什么問題？
VI打開密密麻麻的一片。還是用grep之類的命令過濾吧。
怎么這么多warning啊，嚴重影響看正常的日志。在用grep把這些warning屏蔽掉。
早在xxxx點都出問題了，日志已經有顯示了，我們一直到現在才發現。
相信很多DBA同學遇到過類似的困擾，今天我們就介紹一下pgBadger，幫助我們分析日志的好工具。
pgBadger是一款開源的快速分析PostgreSQL日志的工具，它使用perl語言編寫。對日志進行分析之后輸出成HTML文件。它生成的報告易于閱讀。可以幫助我們查看錯誤日志、連接數、檢查點、臨時文件、VACUUM、Locks等信息。
到網站https://pgbadger.darold.net/上下載最新安裝包，然后解壓到指定目錄。
在運行pgbadger之前，我們需要對PostgreSQL先進行配置。
1.打開SQL日志記錄
log_min_duration_statement=0
如果執行的SQL語句超過了這個參數設置的值，就會記錄到日志里面，類似于MySQL中的慢查詢日志。默認值為-1，不記錄到日志。當前我們系統設置的是1000ms，也就是大于1s的SQL語句將被記錄到日志。
2.設置日志的前綴信息
這個分兩種情況。和log_destination參數有關系。
如果是“stderr”日志格式，log_line_prefix必須至少為：
log_line_prefix=％t[％p]：
日志的前綴也可以添加用戶、數據庫名稱，應用程序名稱和客戶端IP地址，如下所示：
log_line_prefix=％t[％p]：user=％u，db=％d，app=％a，client=％h
如果是“syslog”日志格式，log_line_prefix就是：
log_line_prefix=user =％u，db=％d，app=％a，client=％h
3.打開其他日志記錄
為了讓pgBadger能夠更好的分析，需要開啟一些基礎記錄功能。
log_checkpoints=on
log_connections= on
log_disconnections=on
log_lock_waits=on
log_temp_files=0
log_autovacuum_min_duration=0
log_error_verbosity= default
log_statement=none
這里不要log_statement不要啟用，因為pgBadger不會解析它的日志格式。
4.設置字符集
最后一個是設置字符集。要確保自己的語言環境是英文的。
lc_messages=en_US.UTF- 8’
lc_messages=C
以上參數設置完成之后，進入到pgbadger目錄運行，指定日志文件輸出成html格式。
. ./pgbadger--prefix %t [%p]: user=%u,db=%d,app=%a,client=%h /pg_data1/pg12/logs/postgresql-2020-11-26_093001.log -o11-26_093001.html
接下來我們就可以查看報告了。
報告有以下信息：
查詢、事件、Vacuum、臨時文件、會話數、連接數。
接下來我們來看下我們需要關注的一些點。首先是TOPSQL語句。
這里有一個圖表。顯示了SQL語句的執行時間所在的數量，比如1-10s，有43個查詢。大于10秒是11個查詢。SQL執行的SQL語句都會列出來。
其次可以看看出現的錯誤，通過圖標可以迅速發現16點是一個錯誤頻發期。一共出現了11次錯誤。可以進一步查看具體報的什么錯。
會話數，通過圖形判斷是否在某個時間點出現大量的連接。
查看各個數據庫占用的會話數。
檢查點這里提供了檢查點過程的信息，包括寫入的緩沖區數，WAL文件以及其他常規信息。
有了pgBadger工具，我們在查看錯誤日志的時候更加的得心應手。通過生成的圖表可以有助于我們提前發現一些性能問題。同時它是開源和免費使用的，它的Licence在PostgreSQL下面。
同時我們可以搞一些高級的玩法，比如寫一個crontab定期的分析html，還有遠程分析html、增量分析等等。
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/130063.html
摘要：阿里云操作審計日志實時分析概述目前，阿里云操作審計的已經與日志服務打通，提供實時分析與報表中心的功能。屬性專屬的日志庫名字是阿里云跟蹤名稱，存放于用戶所選擇日志服務的項目中。 摘要： 阿里云操作審計ActionTrail審計日志已經與日志服務打通，提供準實時的審計分析、開箱機用的報表功能。本文介紹背景、配置和功能概覽。 背景安全形式與日志審計伴隨著越來越多的企業采用信息化、云計算技術來...
摘要：環境要求由，和容器組成使用日志收集器將日志發送到。若使用自己的部署，分析和可視化日志的概念保持不變。日志可視化以索引數據為基礎創建豐富的可視化和儀表板的能力而聞名，事實上，得到這些數據并不容易。 昨天小數分享的使用ELK處理Docker日志(一)很受歡迎，今天迫不及待的帶來第二篇，側重于分析和可視化，期待給您帶來幫助：） 噓，聽說數人云工程師們在奧斯汀DockerCON2017買了D...
摘要：接下來我們以余額寶為例，重點剖析天弘基金在日志數據分析領域是如何突破的此前，天弘基金一直使用開源的日志方案，研發和運維人員通過對日志數據進行處理，使用日志文件進行查詢檢索。 雙十一剛剛結束，其實最緊張的不是商鋪理貨，也不是網友緊盯大促商品準備秒殺，而是網購幕后的運維人員，他們最擔心：什么網絡中斷、應用卡頓、響應速度慢，服務器宕機……雙十一作為電商 IT 部門的頭等大事，大促前，運維人員就需要...
摘要：容器內文件日志平臺支持的文件存儲是，避免了許多復雜環境的處理。以上是數人云在實踐容器日志系統過程中遇到的問題，更高層次的應用包括容器日志分析等，還有待繼續挖掘和填坑，歡迎大家提出建議，一起交流。 業務平臺每天產生大量日志數據，為了實現數據分析，需要將生產服務器上的所有日志收集后進行大數據分析處理，Docker提供了日志驅動，然而并不能滿足不同場景需求，本次將結合實例分享日志采集、存儲以...
閱讀 1346·2023-01-11 13:20
閱讀 1684·2023-01-11 13:20
閱讀 1132·2023-01-11 13:20
閱讀 1858·2023-01-11 13:20
閱讀 4100·2023-01-11 13:20
閱讀 2704·2023-01-11 13:20
閱讀 1385·2023-01-11 13:20
閱讀 3597·2023-01-11 13:20
