使用rsyslog讀取本地日志文件

IT那活兒發布于2023-01-11 13:19 / 1795人閱讀

使用rsyslog讀取本地日志文件

點擊上方“IT那活兒”公眾號，關注后了解更多內容，不管IT什么活兒，干就完了！！！

讀取日志

將本機實時生成的操作日志或者業務記錄日志通過rsyslog傳到日志服務器中想必大家都了解如何配置，但是當日志已經保存為文件后，怎么從日志文件中讀取日志，并傳輸到日志服務器中呢？

這就要使用到rsyslog中自帶的imfile模塊了。

imfile模塊

作用：此模塊提供將任何標準文本文件轉換為系統日志消息的能力。

imfile模塊讀取文件是逐行讀取的，任何讀取的行都會傳遞到 rsyslog 的規則引擎，規則引擎應用過濾條件并選擇需要執行的操作，且不處理空行。寫入新行時，它們會從文件中讀取并進行處理。

1. 讀取的策略分為兩種：輪詢和inotify

輪詢：imfile在不指定策略的前提下，默認為輪詢，即一定時間間隔內檢查文件變化，所以會有一定的延遲；
inotify：基于文件監控系統的機制，監控文件發生修改、新增、刪除等操作，當文件發生變化時，觸發該機制，對文件進行讀取。

當 rsyslogd 在監視文本文件時停止，它會記錄上次處理的位置并在重新啟動時從檢查點繼續讀取。因此在重新啟動期間不會丟失任何數據。

2. 通配符

1）版本：8.25.0及以前僅在文件名部分支持通配符，在目錄名稱中不支持

/var/log/*.log
/var/log/*/syslog.log

2）版本：8.25.0以后文件名和路徑支持通配符

/var/log/*.log
/var/log/*/syslog.log
/var/log/*/*.log

所有匹配子文件夾中的所有匹配文件都將被讀取。

但是需要注意的是當被監控文件過多時，會降低 imfile 的性能。

3. 常用相關選項

參數說明：

File：被監控的文件。必須是絕對地址，文件名支持通配符。
Tag：標記信息，會記錄到每行被讀取到的日志中。
Facility：要分配給從此文件讀取的消息的系統日志工具。可以指定為文本形式（例如local0, local1, ...）或數字（例如 16 表示local0），建議采用文本形式，默認為local0。
Severity：要分配給讀取的行的系統日志嚴重性。可以以文本形式（例如info, warning, ...）或數字（例如 6 表示info）指定。建議采用文本形式。默認為notice。
PersistStateInterval：指定在處理輸入文件時應多久寫入一次狀態文件。該缺省值是0，任何其他值 n 意味著至少在每次處理 n 個文件行時寫入狀態文件。此設置可用于防止由于致命錯誤（如電源故障）而導致消息重復。
readMode：這為處理某些標準類型的多行消息提供了支持。
該值的范圍為 0-2，決定了多線檢測方法。
0 -（默認）基于行（每行是一條新消息）；
1 - 基于段落（日志消息之間有一個空行）；
2 - 基于縮進（新的日志消息從一行的開頭開始。如果一行以空格或制表符“t”開頭，它就是它之前的日志消息的一部分）。

配置案例

#載入imfile文件，并設置PollingInterval值為5。

module(load="imfile" PollingInterval="5")

#配置被采集文件信息，以及tag等信息。

input(type="imfile" 
File="/app/udal/dbproxy_****/logs/udal_monitor_slow_sql.log" 
Tag="teledb#133. ****
Severity="info" Facility="local6")

#使用UDP將采集到的日志傳輸到日志服務器中 local6.* @133.****:****

查看接收到的日志行：

至此我們便了解了imfile的應用場景，也完成了rsyslog采集文件中日志的配置。

END

本文作者：胡京康（上海新炬王翦團隊）

本文來源：“IT那活兒”公眾號

云服務器 GPU云服務器 rsyslog 集中日志服務器文件本地讀取 js讀取手機本地文件 js讀取本地硬盤文件路徑

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/129452.html

利用ELK搭建Docker容器化應用日志中心

摘要：概述應用一旦容器化以后，需要考慮的就是如何采集位于容器中的應用程序的打印日志供運維分析。 showImg(https://segmentfault.com/img/remote/1460000014146680); 概述應用一旦容器化以后，需要考慮的就是如何采集位于Docker容器中的應用程序的打印日志供運維分析。典型的比如 SpringBoot應用的日志收集。本文即將闡述如何利...

周國輝 2019-06-28 16:20 評論0 收藏0
linux文件系統和日志分析

摘要：通常情況下不需要關注單個的大小，而是需要重點關注的總數，的總字節在格式化的時候就給定了，執行命令即可查看每個硬盤分區對應的總數和已經使用的數量。 inode和block概述一：1、文件數據包括源信息與實際數據文件存儲在硬盤上，硬盤最小存儲單位是扇區。每個扇區存儲512字節block （塊）：連續的八個扇區組成一...

waruqi 2021-11-25 09:43 評論0 收藏0
linux inode文件系統；備份恢復及日志分析

摘要：通常文件系統磁盤空間中大約百分之一空間分配給了表。的備份級別默認為。郵件系統日志記錄進入或發出系統的電子郵件活動。用戶登錄日志記錄用戶認證相關的安全事件信息。 1 、深入理解linux文件系統1.inode與blockinode存儲文件元信息(比如文件的創建者、創建日期、文件大小、文件權限等)的區域就叫做ino...

terro 2021-11-25 09:43 評論0 收藏0
LINUX文件系統及日志分析

摘要：恢復文件系統下的所有內容在當前目錄下會出現一個目錄，里面保存了已經恢復的文件該圖我們依舊是對磁盤進行一個創建分區的操作。 inode和block概述文件數據包括元信息與實際數據文件存儲在硬盤上，硬盤最小存儲單位是扇區，每個扇區存儲512字節block (塊)連續的八個扇區組成一個block(4K)是文件存取的最...

番茄西紅柿 2021-11-29 10:50 評論0 收藏2637