云原生可觀察性系列二：基于Loggie采集容器日志

IT那活兒發布于2023-01-11 13:19 / 3616人閱讀

點擊上方“IT那活兒”公眾號，關注后了解更多內容，不管IT什么活兒，干就完了！！！

一

文章前言

我們現有日志采集方式主要是基于開源flume 進行二次開發，已實現對應用日志、syslog、組件日志、sql查詢等類型的日志進行采集，適用傳統運行環境日志采集，長期實踐過程中flume對文件數過多，量大的情況下采集存在資源消耗較高的現象（進程高cpu）。

應用大規模上K8s云環境后需要對容器及容器內部日志進行采集，flume 本身并不支持，需要找尋相應的開源解決方案，而今年推出的開源日志采集組件Loggie可以滿足這種場景。

Loggie是一個基于Golang的輕量級、高性能、云原生日志采集Agent和中轉處理Aggregator，支持多Pipeline和組件熱插拔，提供了基于日志可觀測性、快速排障、異常預警、自動化運維能力。

二

安裝部署

2.1 環境準備

在此之前需要有一套k8s集群以及helm環境。

helm下載地址：https://github.com/kubernetes/helm/releases，下載上傳解壓即可。

下載好Loiggie安裝包：https://github.com/loggie-io/installation/releases/download/v1.2.0/loggie-v1.2.0.tgz

loggie官方文檔：https://loggie-io.github.io/docs/

2.2 部署

1）DaemonSet方式部署loggie，helm install loggie ./loggie -nloggie --create-namespace 可以通過kubectl get ds -n loggie命令查看loggie容器是否創建成功。

2）創建被采集的測試容器。

3）定義輸出源Sink，創建一個Loggie定義的CRD Sink實例，表明日志發送的后端。接收日志的后端存在多種，例如es、kafka、Prometheus，本次演示配置輸出到loggie容器日志（dev）和kafka中。

輸出源dev：

apiVersion: loggie.io/v1beta1
kind: Sink
metadata:
 name: default
spec:
 sink: |
   type: dev
   printEvents: true

輸出源：kafka

apiVersion: loggie.io/v1beta1
kind: Sink
metadata:
 name: default
spec:
 sink: |
   type: kafka
   brokers: ["192.168.XX.XXX:9092"] # kafka地址
   topic: "loggie"   # topic名稱

其他輸出源配置詳見：https://loggie-io.github.io/docs/reference/下的Sink節點。

通過kubectl apply -f xxx.yaml創建sink。

4）定義采集任務，Loggie定義CRD LogConfig，表示一個日志采集任務；本次演示兩種采集方式，直接采集應用日志文件和采集容器日志。

采集容器日志：

apiVersion: loggie.io/v1beta1
kind: LogConfig
metadata:
 name: tomcat-app
 namespace: default
spec:
 selector:
   type: pod
   labelSelector:
     app: asdf
 pipeline:
   sources: |
     - type: file
       name: mylog
       paths:
       - stdout
   sinkRef: default

采集容器內的應用日志：

apiVersion: loggie.io/v1beta1
kind: LogConfig
metadata:
 name: tomcat-app
 namespace: default
spec:
 selector:
   type: pod
   labelSelector:
     app: asdf
 pipeline:
   sources: |
     - type: file
       name: mylog
       paths:
       - /usr/local/logs/app.log
   sinkRef: default

更多采集配置請詳見：https://loggie-io.github.io/docs/reference/下的source節點。

5）配置完成后查看測試pod所在節點（dev模式下日志只會采集到同一節點的loggie），kubectl get pods -l app=asdf -o wide ，查看loggie日志和kafka消費可以看到有數據，其中body字段為日志信息，日志采集成功。

需要回顧上期云原生相關文章，可點擊文章標題《云原生可觀察性系列一：Tetragon實踐》跳轉原文查看。

本文作者：長研云原生研究小組（上海新炬王翦團隊）

本文來源：“IT那活兒”公眾號

GPU云服務器云服務器日志采集阿里云云原生容器云云原生容器云原生容器平臺

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/129312.html

靈雀云CTO陳愷：從“鴻溝理論”看云原生，哪些技術能夠跨越鴻溝？

摘要：早在年針對高科技行業和高科技企業生命周期的特點，提出了著名的鴻溝理論。今天我們嘗試以鴻溝理論為基礎來分析云原生領域顛覆性的創新技術。回過頭來看，靈雀云從早期全力投入技術棧，是最早進行產品化的廠商。歷史進入2019年，放眼望去，今天的整個技術大環境和生態都發生了很大的變化。在己亥豬年春節剛剛過去的早春時節，我們來梳理和展望一下整個云原生技術趨勢的發展，是一件很有意義的事情，這其中有些變...

hss01248 2019-07-01 17:09 評論0 收藏0
數人云工程師手記 | 容器日志管理實踐

摘要：容器內文件日志平臺支持的文件存儲是，避免了許多復雜環境的處理。以上是數人云在實踐容器日志系統過程中遇到的問題，更高層次的應用包括容器日志分析等，還有待繼續挖掘和填坑，歡迎大家提出建議，一起交流。業務平臺每天產生大量日志數據，為了實現數據分析，需要將生產服務器上的所有日志收集后進行大數據分析處理，Docker提供了日志驅動，然而并不能滿足不同場景需求，本次將結合實例分享日志采集、存儲以...

saucxs 2019-06-28 15:35 評論0 收藏0
LC3視角：Kubernetes下日志采集、存儲與處理技術實踐

摘要：下需要為每個單獨進行采集配置采集日志目錄，采集規則，存儲目標等，不易維護。日志服務的日志架構實踐我們提出基于阿里云日志服務的日志處理架構，用以補充社區的方案，來嘗試解決場景下日志處理的一些細節體驗問題。摘要：在Kubernetes服務化、日志處理實時化以及日志集中式存儲趨勢下，Kubernetes日志處理上也遇到的新挑戰，包括：容器動態采集、大流量性能瓶頸、日志路由管理等問題。本文...

Guakin_Huang 2019-06-24 18:06 評論0 收藏0
云原生機制的三個核心思想及其未來之路

摘要：事實上，這種快捷的發布周期需要配合一系列流程工具甚至是管理文化，從而共同支撐起一套安全且可靠的云原生應用程序運作機制。云原生框架云原生應用程序的一大關鍵性特質在于，其需要遵循一套設計契約以較大程度實現行為的可預測性。擺脫臨時性自動化方案之定位，發揮優勢以實現可預測功能。您能否以每周為單位向客戶發布各類新功能?甚至進一步達到以每天乃至每小時為單位?新晉開發人員能否在上班的第一天即進行代碼部署...

陳偉 2019-04-25 17:42 評論0 收藏0
CloudBest：年度復盤丨盤點2020無處不在的「云原生」

摘要：華為云華為云在云原生這場游戲中，最具競爭力的玩家之一。年，金山云在云原生領域推出了三款重磅產品星曜裸金屬服務器云服務器和云盤。在線上智博會上，浪潮云發布了經過全新迭代升級的浪潮云，進一步提升平臺云原生服務能力。面對數字時代復雜系統的不確定性，傳統的 IT 應用架構研發交付周期長、維護成本高、創新升級難，煙囪式架構，開放性差、組件復用度低，這些都成為了企業業務快速增長的瓶頸。而云原生以其敏捷、...

Tecode 2022-06-28 18:59 評論0 收藏0