Logback配置文件這么寫，TPS提高10倍

cnTomato 發(fā)布于2019-08-19 10:28 / 3370人閱讀

摘要：框架會默認加載下命名為或的配置文件。采用異步寫日志的方式而不讓此次寫日志發(fā)生磁盤，阻塞線程從而造成不必要的性能損耗。

通過閱讀本篇文章將了解到

1.日志輸出到文件并根據(jù)LEVEL級別將日志分類保存到不同文件

2.通過異步輸出日志減少磁盤IO提高性能

3.異步輸出日志的原理

配置文件logback-spring.xml

SpringBoot工程自帶logback和slf4j的依賴，所以重點放在編寫配置文件上，需要引入什么依賴，日志依賴沖突統(tǒng)統(tǒng)都不需要我們管了。logback框架會默認加載classpath下命名為logback-spring或logback的配置文件。將所有日志都存儲在一個文件中文件大小也隨著應用的運行越來越大并且不好排查問題，正確的做法應該是將error日志和其他日志分開，并且不同級別的日志根據(jù)時間段進行記錄存儲。



    
    
        
            [%d{yyyy-MM-dd" "HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n
        
    
    
    
        
            ERROR
            DENY
            ACCEPT
        
        
            [%d{yyyy-MM-dd" "HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n
        

        
        
            
            ${LOG_INFO_HOME}//%d.log
            30
        
    
    
        
            ERROR
        
        
            [%d{yyyy-MM-dd" "HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n
        
        
        
            
            ${LOG_ERROR_HOME}//%d.log
            30

部分標簽說明

標簽，必填標簽，用來指定最基礎的日志輸出級別

標簽，添加append

標簽，通過使用該標簽指定日志的收集策略

name屬性指定appender命名

class屬性指定輸出策略，通常有兩種，控制臺輸出和文件輸出，文件輸出就是將日志進行一個持久化。ConsoleAppender將日志輸出到控制臺

標簽，通過使用該標簽指定過濾策略

標簽指定過濾的類型

標簽，使用該標簽下的標簽指定日志輸出格式

標簽指定收集策略，比如基于時間進行收集

標簽指定生成日志保存地址

通過這樣配置已經(jīng)實現(xiàn)了分類分天手機日志的目標了

logback 高級特性異步輸出日志

之前的日志配置方式是基于同步的，每次日志輸出到文件都會進行一次磁盤IO。采用異步寫日志的方式而不讓此次寫日志發(fā)生磁盤IO，阻塞線程從而造成不必要的性能損耗。異步輸出日志的方式很簡單，添加一個基于異步寫日志的appender，并指向原先配置的appender即可

異步輸出日志性能測試

既然能提高性能的話，必須進行一次測試比對，同步和異步輸出日志性能到底能提升多少倍？

服務器硬件

CPU 六核

內存 8G

測試工具

Apache Jmeter

同步輸出日志

線程數(shù)：100

Ramp-Up Loop(可以理解為啟動線程所用時間) ：0

可以理解為100個線程同時啟用

測試結果

重點關注指標Throughput【TPS】吞吐量：系統(tǒng)在單位時間內處理請求的數(shù)量，在同步輸出日志中TPS為44.2/sec

異步輸出日志

線程數(shù) 100

Ramp-Up Loop：0

測試結果

TPS為497.5/sec，性能提升了10多倍！！！

異步日志輸出原理

從logback框架下的Logger.info方法開始追蹤。一路的方法調用路徑如下圖所示：

異步輸出日志中最關鍵的就是配置文件中ch.qos.logback.classic包下AsyncAppenderBase類中的append方法，查看該方法的源碼:

protected void append(E eventObject) {
        if(!this.isQueueBelowDiscardingThreshold() || !this.isDiscardable(eventObject)) {
            this.preprocess(eventObject);
            this.put(eventObject);
        }
    }

通過隊列情況判斷是否需要丟棄日志，不丟棄的話將它放到阻塞隊列中，通過查看代碼，這個阻塞隊列為ArrayBlockingQueueu，默認大小為256，可以通過配置文件進行修改。Logger.info(...)到append(...)就結束了，只做了將日志塞入到阻塞隊列的事，然后繼續(xù)執(zhí)行Logger.info(...)下面的語句了。
在AsyncAppenderBase類中定義了一個Worker線程，run方法中的關鍵部分代碼如下:

E e = parent.blockingQueue.take();
aai.appendLoopOnAppenders(e);

從阻塞隊列中取出一個日志，并調用AppenderAttachableImpl類中的appendLoopOnAppenders方法維護一個Append列表。Worker線程中調用方法過程主要如下圖：

最主要的兩個方法就是encode和write方法，前一個法方會根據(jù)配置文件中encode指定的方式轉化為字節(jié)碼，后一個方法將轉化成的字節(jié)碼寫入到文件中去。所以寫文件是通過新起一個線程去完成的，主線程將日志扔到阻塞隊列中，然后又去做其他事情了。

最后附：項目完整代碼

云服務器 GPU云服務器提高配置 java寫10的n次 logback logback access

文章版權歸作者所有，未經(jīng)允許請勿轉載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/76068.html

Logback配置文件這么寫，TPS提高10倍

摘要：框架會默認加載下命名為或的配置文件。采用異步寫日志的方式而不讓此次寫日志發(fā)生磁盤，阻塞線程從而造成不必要的性能損耗。通過閱讀本篇文章將了解到 1.日志輸出到文件并根據(jù)LEVEL級別將日志分類保存到不同文件 2.通過異步輸出日志減少磁盤IO提高性能 3.異步輸出日志的原理配置文件logback-spring.xml SpringBoot工程自帶logback和slf4j的依賴，所...

yedf 2019-08-19 10:28 評論0 收藏0
一次logback多線程調優(yōu)的經(jīng)歷

摘要：由于不是線程安全的，故在方法上增加了同步操作，造成競爭等待。至此，整個多線程調優(yōu)結束，通過充分優(yōu)化同步競爭的方式，最終使得分線程記錄日志的性能比最原始的多線程寫同一文件提高了倍去鎖提高到倍，替換提高倍背景 ??在一次項目的性能調優(yōu)中，發(fā)現(xiàn)出現(xiàn)競爭瓶頸，導致在資源未使用滿的情況下，TPS已經(jīng)無法提升。祭起JMC（JAVA MISSON CONTROL）飛行記錄器大法后，發(fā)現(xiàn)線程集中等待...

khs1994 2019-08-19 11:03 評論0 收藏0
logback的簡單使用

摘要：的測試完全不同級別的。記錄請求的級別在高于或等于其的有效級別時被稱為被啟用，否則，稱為被禁用。該規(guī)則是的核心。指定名稱，指定的全限定名。對記錄事件進行格式化。查看當前活動文件的大小，如果超過指定大小會告知觸發(fā)當前活動文件滾動。一、logback的介紹 Logback是由log4j創(chuàng)始人設計的又一個開源日志組件，官方網(wǎng)站： http://logback.qos.ch。 logback當...

habren 2019-08-16 14:46 評論0 收藏0
一起來學SpringBoot | 第三篇：SpringBoot日志配置

摘要：嘗試檢測著色功能是否可用。禁用顏色的輸出。目前支持的顏色有文件保存默認情況下，僅將日志輸出到控制臺，不會寫入到日志文件中去。如果除了控制臺輸出之外還想寫日志文件，則需要在設置或屬性。默認情況它會根據(jù)日志的依賴自動加載。 SpringBoot 是為了簡化 Spring 應用的創(chuàng)建、運行、調試、部署等一系列問題而誕生的產(chǎn)物，自動裝配的特性讓我們可以更好的關注業(yè)務本身而不是外部的XML配置...

娣辯孩 2019-08-16 12:35 評論0 收藏0