日志深入理解

Moxmi 發布于2019-07-01 10:58 / 2177人閱讀

摘要：說明很多軟件，系統都會有著自己的日志，記錄日志的主要目的是什么呢。可用來分析例子事件查看器里的日志是一個很好的例子。可以定時轉存到日志文件中除了數據庫不推薦外，使用文件還是使用內存的可能通過寫入條數進行估算。

說明

很多軟件，系統都會有著自己的日志，記錄日志的主要目的是什么呢。

日志可以記錄誰誰誰在什么時候做了什么事情，這些記錄可以讓我們知道用戶是怎么操作系統報的錯誤。可用來找錯
也可以通過一些日志分析軟件去分析，最近用戶做那些操作比較多。搜索什么關鍵詞比較多，有利于運營的策略制定。可用來分析

例子

windows 事件查看器里的 windows日志是一個很好的例子。
它分為應用程序日志，安全日志，系統日志

應用程序日志：主要記錄系統軟件應用的錯誤
安全日志：比較敏感的系統操作，如管理員登錄，修改密碼
系統日志：系統相關的操作，如windows的服務操作

所有的日志都記錄了
錯誤級別，日期時間，來源，任務類型，系統用戶，計算機，日志內容

通過日志記錄的內容，可以輕易的得知軟件的錯誤是什么。

它還提供了篩選和排序的功能，方便我們去查找錯誤。

基礎概念

主要記錄的日志內容

錯誤級別
日期時間
來源
    IP
    項目名
任務類型
日志內容
    操作內容的簡寫
    用戶的請求參數，可用 json

項目的日志沒有windows日志里的那么細，因為我們面對的范圍比它小太多了，有些內容就沒有必要記錄

記錄格式

json：這個可以很好的區分數據是那一項里面的，但是在直接查看上不是很直觀，需要取出轉格式，有些內容還會有換行的。
字符串：直接查看日志文件比較直觀，但是如果需要導入分析工具時，需要寫正則一項項匹配出來，再導入

日志存儲方式

數據庫
    個人十分不推薦的記錄方式，因為日志只要有人訪問程序就會寫庫。訪問少倒無所謂，訪問大會大量消耗數據庫的性能
    寫數據庫慢，高并發的時候會鎖表
文件
    這個比數據庫好很多，也比較傳統的做法。會占用系統IO，寫操作太多時會導致系統卡頓。不考慮被攻擊時可直接使用
    統計和查找沒有數據庫那么功能豐富，可以直接導至分析系統中進行操作。
    擴展：知道自己服務器的 IO 寫入速率，去估算每分鐘可以寫多少日志，
        假如服務器寫入速率是 100k/s
        其他軟件預計占用 30k/s
        去除容差 20k/s
        那可用的是 50k/s
        每分鐘可寫 51200b 的日志
        再設每條日志 500b
        那每分鐘級最多可寫102條日志
內存
    讀寫速度很快，但是內存一般不會很大，普遍4g以上。去除其他應用的內存開銷，可用的內存并不多。可以定時轉存到日志文件中

除了數據庫不推薦外，使用文件還是使用內存的可能通過寫入條數進行估算。使用什么方式

程序實現

規范

php 的 [psr-3](https://laravel-china.org/docs/psr/psr-3-logger-interface/1607)

難點：

1. 要記日志的地方那么多，怎么對其進行簡化操作
    通過URL匹配來記錄大概操作
    通過php異常處理記錄錯誤日志，與 [上一期文章](https://segmentfault.com/a/1190000016824772) 關聯
    特殊的需求做直接記錄處理，如：搜索關鍵詞詞頻統計最近熱門關鍵詞

管理

elk: elsticsearch + logstash + kibana 比較流行的一套日志分析系統
自制管理系統

寫在最后

日志不管是對系統還是對個人來說都是很有必要存在的東西。

身邊的事物總會在某個時間點消逝，我們需要珍惜，留有美好的記憶，
去記錄它，直到某天返回翻看，回憶起當時留有的酸甜苦辣。

GPU云服務器云服務器深入理解系列深入理解linux 深入理解webrtc 深入理解python

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/29682.html

【譯】深入理解G1的GC日志（一）

摘要：表示允許垃圾收集線程處理本次垃圾收集開始前沒有處理好的日志緩沖區，這可以確保當前分區的是最新的。垃圾收集線程在完成其他任務的時間展示每個垃圾收集線程的最小最大平均差值和總共時間。本文翻譯自：https://www.redhat.com/en/blog/collecting-and-reading-g1-garbage-collector-logs-part-2?source=auth...

spacewander 2019-08-16 18:39 評論0 收藏0
《深入理解Java虛擬機》（六）堆內存使用分析，垃圾收集器 GC 日志解讀

摘要：堆內存使用分析，垃圾收集器日志解讀重要的東東在中，對象實例都是在堆上創建。機制是由提供，用來清理需要清除的對象，回收堆內存。在中，是由一個被稱為垃圾回收器的守護線程執行的。堆內存使用分析，垃圾收集器 GC 日志解讀重要的東東在Java中，對象實例都是在堆上創建。一些類信息，常量，靜態變量等存儲在方法區。堆和方法區都是線程共享的。 GC機制是由JVM提供，用來清理需要清除的對象，...

CODING 2019-08-15 11:11 評論0 收藏0
Java深入-框架技巧

摘要：從使用到原理學習線程池關于線程池的使用，及原理分析分析角度新穎面向切面編程的基本用法基于注解的實現在軟件開發中，分散于應用中多出的功能被稱為橫切關注點如事務安全緩存等。 Java 程序媛手把手教你設計模式中的撩妹神技 -- 上篇遇一人白首，擇一城終老，是多么美好的人生境界，她和他歷經風雨慢慢變老，回首走過的點點滴滴，依然清楚的記得當初愛情萌芽的模樣…… Java 進階面試問題列表 -...

chengtao1633 2019-08-15 13:31 評論0 收藏0
深入理解Linux文件系統與日志分析

一、inode和block概述文件數據包括元信息與實際數據（元信息：包含屬性的相關信息，實際數據：文件內容）文件是存儲在硬盤上的，硬盤的最小存儲單位叫做扇區(sector)，每個扇區存儲512字節。一般連續八個扇區組成一個塊(block)，一個塊是4K大小，是文件存取的最小單位。操作系統讀取硬盤的時候，是一次性連續讀取多個扇區，即一個塊一個塊的讀取的。block(塊)●連續的八個扇區組成一個bl...

番茄西紅柿 2021-11-26 11:11 評論0 收藏2637