摘要:操作數據庫使用這個驅動,直接操作數據庫,主要就是查詢操作。定時任務使用一個多帶帶的線程,每分鐘掃描一次,如果級別的日志條數超過條,就發郵件通知。日志為這個小小的腳本配置一下日志,讓日志可以輸出到文件和控制臺中。
在公司里做的一個接口系統,主要是對接第三方的系統接口,所以,這個系統里會和很多其他公司的項目交互。隨之而來一個很蛋疼的問題,這么多公司的接口,不同公司接口的穩定性差別很大,訪問量大的時候,有的不怎么行的接口就各種出錯了。
這個接口系統剛剛開發不久,整個系統中,處于比較邊緣的位置,不像其他項目,有日志庫,還有短信告警,一旦出問題,很多情況下都是用戶反饋回來,所以,我的想法是,拿起python,為這個項目寫一個監控。如果在調用某個第三方接口的過程中,大量出錯了,說明這個接口有有問題了,就可以更快的采取措施。
項目的也是有日志庫的,所有的info,error日志都是每隔一分鐘掃描入庫,日志庫是用的mysql,表里有幾個特別重要的字段:
level 日志級別
message 日志內容
file_name Java代碼文件
log_time 日志時間
有日志庫,就不用自己去線上環境掃日志分析了,直接從日志庫入手。由于日志庫在線上時每隔1分鐘掃,那我就去日志庫每隔2分鐘掃一次,如果掃到有一定數量的error日志就報警,如果只有一兩條錯誤就可以無視了,也就是短時間爆發大量錯誤日志,就可以斷定系統有問題了。報警方式就用發送郵件,所以,需要做下面幾件事情:
1. 操作MySql。
2. 發送郵件。
3. 定時任務。
4. 日志。
5. 運行腳本。
明確了以上幾件事情,就可以動手了。
操作數據庫使用MySQLdb這個驅動,直接操作數據庫,主要就是查詢操作。
獲取數據庫的連接:
pythondef get_con(): host = "127.0.0.1" port = 3306 logsdb = "logsdb" user = "root" password = "never tell you" con = MySQLdb.connect(host=host, user=user, passwd=password, db=logsdb, port=port, charset="utf8") return con
從日志庫里獲取數據,獲取當前時間之前2分鐘的數據,首先,根據當前時間進行計算一下時間。之前,計算有問題,現在已經修改,謝謝一樓wade305朋友指正~
pythondef calculate_time(): now = time.mktime(datetime.now().timetuple())-60*2 result = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(now)) return result
然后,根據時間和日志級別去日志庫查詢數據
pythondef get_data(): select_time = calculate_time() logger.info("select time:"+select_time) sql = "select file_name,message from logsdb.app_logs_record " "where log_time >"+"""+select_time+""" "and level="+""ERROR"" "order by log_time desc" conn = get_con() cursor = conn.cursor() cursor.execute(sql) results = cursor.fetchall() cursor.close() conn.close() return results發送郵件
使用python發送郵件比較簡單,使用標準庫smtplib就可以
這里使用163郵箱進行發送,你可以使用其他郵箱或者企業郵箱都行,不過host和port要設置正確。
pythondef send_email(content): sender = "sender_monitor@163.com" receiver = ["rec01@163.com", "rec02@163.com"] host = "smtp.163.com" port = 465 msg = MIMEText(content) msg["From"] = "sender_monitor@163.com" msg["To"] = "rec01@163.com,rec02@163.com" msg["Subject"] = "system error warning" try: smtp = smtplib.SMTP_SSL(host, port) smtp.login(sender, "123456") smtp.sendmail(sender, receiver, msg.as_string()) logger.info("send email success") except Exception, e: logger.error(e)定時任務
使用一個多帶帶的線程,每2分鐘掃描一次,如果ERROR級別的日志條數超過5條,就發郵件通知。
pythondef task(): while True: logger.info("monitor running") results = get_data() if results is not None and len(results) > 5: content = "recharge error:" logger.info("a lot of error,so send mail") for r in results: content += r[1]+" " send_email(content) sleep(2*60)日志
為這個小小的腳本配置一下日志log.py,讓日志可以輸出到文件和控制臺中。
python# coding=utf-8 import logging logger = logging.getLogger("mylogger") logger.setLevel(logging.DEBUG) fh = logging.FileHandler("monitor.log") fh.setLevel(logging.INFO) ch = logging.StreamHandler() ch.setLevel(logging.INFO) formatter = logging.Formatter("%(asctime)s - %(name)s - %(levelname)s - %(message)s") fh.setFormatter(formatter) ch.setFormatter(formatter) logger.addHandler(fh) logger.addHandler(ch)
所以,最后,這個監控小程序就是這樣的app_monitor.py
python# coding=utf-8 import threading import MySQLdb from datetime import datetime import time import smtplib from email.mime.text import MIMEText from log import logger def get_con(): host = "127.0.0.1" port = 3306 logsdb = "logsdb" user = "root" password = "never tell you" con = MySQLdb.connect(host=host, user=user, passwd=password, db=logsdb, port=port, charset="utf8") return con def calculate_time(): now = time.mktime(datetime.now().timetuple())-60*2 result = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(now)) return result def get_data(): select_time = calculate_time() logger.info("select time:"+select_time) sql = "select file_name,message from logsdb.app_logs_record " "where log_time >"+"""+select_time+""" "and level="+""ERROR"" "order by log_time desc" conn = get_con() cursor = conn.cursor() cursor.execute(sql) results = cursor.fetchall() cursor.close() conn.close() return results def send_email(content): sender = "sender_monitor@163.com" receiver = ["rec01@163.com", "rec02@163.com"] host = "smtp.163.com" port = 465 msg = MIMEText(content) msg["From"] = "sender_monitor@163.com" msg["To"] = "rec01@163.com,rec02@163.com" msg["Subject"] = "system error warning" try: smtp = smtplib.SMTP_SSL(host, port) smtp.login(sender, "123456") smtp.sendmail(sender, receiver, msg.as_string()) logger.info("send email success") except Exception, e: logger.error(e) def task(): while True: logger.info("monitor running") results = get_data() if results is not None and len(results) > 5: content = "recharge error:" logger.info("a lot of error,so send mail") for r in results: content += r[1]+" " send_email(content) time.sleep(2*60) def run_monitor(): monitor = threading.Thread(target=task) monitor.start() if __name__ == "__main__": run_monitor()運行腳本
腳本在服務器上運行,使用supervisor進行管理。
在服務器(centos6)上安裝supervisor,然后在/etc/supervisor.conf中加入一下配置
bash[program:app-monitor] command = python /root/monitor/app_monitor.py directory = /root/monitor user = root
然后在終端中運行supervisord啟動supervisor。
在終端中運行supervisorctl,進入shell,運行status查看腳本的運行狀態。
這個小監控思路很清晰,還可以繼續修改,比如:監控特定的接口,發送短信通知等等。
因為有日志庫,就少了去線上正式環境掃描日志的麻煩,所以,如果沒有日志庫,就要自己上線上環境掃描,在正式線上環境一定要小心哇~
文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。
轉載請注明本文地址:http://specialneedsforspecialkids.com/yun/45318.html
摘要:月日,助力在北京舉辦全球最盛大的年度聚會,國內外頂尖的工程師做了很精彩的分享和互動,現場多名愛好者參與了此次技術主題盛宴。后續會有更多現場照片持續更新 11月15日,SegmentFault 助力PyCon China 在北京舉辦全球 Pythoneer 最盛大的年度聚會,國內外頂尖的Python 工程師做了很精彩的分享和互動,現場300多名python愛好者參與了此次技術主題盛宴。 ...
摘要:本文內容整理自我在知乎的回答用寫的最佳實踐是什么,下面的內容是對知乎舊有回答的一個補充,尤其有一些主要針對如果想要更多內容,可以查看知乎對于該問題的一些回答。主要是針對提供的內容進行再提取進行展示。 先來曬個圖: showImg(https://segmentfault.com/img/bVIDeB?w=1434&h=1430); 對于一些 Python 的小項目,使用 vim 是一個...
摘要:本文內容整理自我在知乎的回答用寫的最佳實踐是什么,下面的內容是對知乎舊有回答的一個補充,尤其有一些主要針對如果想要更多內容,可以查看知乎對于該問題的一些回答。主要是針對提供的內容進行再提取進行展示。 先來曬個圖: showImg(https://segmentfault.com/img/bVIDeB?w=1434&h=1430); 對于一些 Python 的小項目,使用 vim 是一個...
摘要:前提好幾周沒更新博客了,對不斷支持我博客的童鞋們說聲抱歉了。熟悉我的人都知道我寫博客的時間比較早,而且堅持的時間也比較久,一直到現在也是一直保持著更新狀態。 showImg(https://segmentfault.com/img/remote/1460000014076586?w=1920&h=1080); 前提 好幾周沒更新博客了,對不斷支持我博客的童鞋們說聲:抱歉了!。自己這段時...
閱讀 632·2021-08-17 10:15
閱讀 1715·2021-07-30 14:57
閱讀 1971·2019-08-30 15:55
閱讀 2813·2019-08-30 15:55
閱讀 2704·2019-08-30 15:44
閱讀 662·2019-08-30 14:13
閱讀 2380·2019-08-30 13:55
閱讀 2588·2019-08-26 13:56