使用Fluentd收集Docker容器日志

ivan_qhz 發布于2019-06-28 18:00 / 1054人閱讀

摘要：本文介紹使用收集容器日志的方法。提供了很多，默認情況下使用的，它會把容器打到的日志收集起來存到文件中，所看到的日志就是來自于這些文件。

本文介紹使用Fluentd收集standalone容器日志的方法。

Docker提供了很多logging driver，默認情況下使用的json-file，它會把容器打到stdout/stderr的日志收集起來存到json文件中，docker logs所看到的日志就是來自于這些json文件。

當有多個docker host的時候你會希望能夠把日志匯集起來，集中存放到一處，本文講的是如何通過fluentd logging driver配合fluentd來達成這一目標。

目標：

將standalone容器打到stdout/stderror的日志收集起來

收集的日志根據容器名分開存儲

日志文件根據每天滾動

第一步：配置Fluentd實例

首先是配置文件fluent.conf：


  @type   forward




  @type              file

  path               /fluentd/log/${tag}/${tag}
  append             true
  
    @type            single_value
    message_key      log
  
  
    @type             file
    timekey           1d
    timekey_wait      10m
    flush_mode        interval
    flush_interval    30s

新建一個目錄比如/home/ubuntu/container-logs，并賦予權限chmod 777 /home/ubuntu/container-logs。

然后啟動Fluentd實例，這里使用的Docker方式：

docker run -it 
  -d 
  -p 24224:24224 
  -v /path/to/conf/fluent.conf:/fluentd/etc/fluent.conf 
  -v /home/ubuntu/container-logs:/fluentd/log
  fluent/fluentd:v1.3

第二步：指定容器的logging driver

在啟動容器的時候執行使用fluentd作為logging driver：

docker run -d 
  ...
  --log-driver=fluentd 
  --log-opt fluentd-address=:24224 
  --log-opt mode=non-blocking 
  --log-opt tag={{.Name}}

第三步：觀察日志

到/home/ubuntu/container-logs目錄下能夠看到類似這樣的目錄結構：

.
└── 
    └── .20190123.log

參考文檔

Configure logging drivers

Customize log driver output

Use Fluentd logging driver

Docker CLI - run

Fluentd

Fluentd - out_file

Fluentd - formatter_single_value

Fluentd - buf_file

Fluentd - buffer

GPU云服務器云服務器日志收集、集群日志收集 elk日志收集 kafka 日志收集

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/28075.html

使用開源工具fluentd-pilot收集容器日志

摘要：來自用戶的最佳實踐分享，如何用阿里開源的日志收集工具收集機器上所有應用日志。具有如下特性一個單獨的進程收集機器上所有容器的日志。無論是強大的阿里云日志服務，還是比較流行的組合，甚至是，都能把日志投遞到正確的地點。來自用戶的最佳實踐分享，如何用阿里開源的Docker日志收集工具fluentd-pilot收集機器上所有Docker應用日志。 fluentd-pilot簡介 fluentd...

Dionysus_go 2019-06-28 16:12 評論0 收藏0
關于k8s集群容器日志收集的總結

摘要：我推薦你使用進行日志收集，將作為的出口。集群目前暫時沒有提供日志查看機制。以如下的形式啟動容器，容器日志將發往配置的。【作者barnett】本文介紹了k8s官方提供的日志收集方法，并介紹了Fluentd日志收集器并與其他產品做了比較。最后介紹了好雨云幫如何對k8s進行改造并使用ZeroMQ以消息的形式將日志傳輸到統一的日志處理中心。容器日志存在形式目前容器日志有兩種輸出形式： ...

jeffrey_up 2019-06-28 17:50 評論0 收藏0
關于k8s集群容器日志收集的總結

摘要：我推薦你使用進行日志收集，將作為的出口。集群目前暫時沒有提供日志查看機制。以如下的形式啟動容器，容器日志將發往配置的。【作者barnett】本文介紹了k8s官方提供的日志收集方法，并介紹了Fluentd日志收集器并與其他產品做了比較。最后介紹了好雨云幫如何對k8s進行改造并使用ZeroMQ以消息的形式將日志傳輸到統一的日志處理中心。容器日志存在形式目前容器日志有兩種輸出形式： ...

or0fun 2019-07-01 16:29 評論0 收藏0
使用 Fluentd 管理 Docker 日志

摘要：使用管理日志標簽空格分隔日志管理本文作者是，本文原文地址是當前版本的一個問題就是日志管理。任何長時間運行的進程產生的日志都是冗長的，這會導致仔細檢查非常困難。所有文件這時能被轉發到一個中央日志系統。使用 Fluentd 管理 Docker 日志標簽（空格分隔）： Fluentd Docker 日志管理本文作者是 jwilder，本文原文地址是 Docker Log M...

Hujiawei 2019-06-28 14:51 評論0 收藏0
容器日志處理及實現

摘要：實現方式是每個掛載目錄使用的插件掃描每個容器日志文件，直接發送給。首先根據容器配置的類別調用返回一個方法類型實質就是從工廠類注冊的插件去查找，具體源碼下文分析。在處理中心統一完成下一步處理。直接接收容器的日志。容器日志輸出形式：目前容器日志有兩種輸出形式： stdout,stderr 標準輸出這種形式的日志輸出我們可以直接使用docker logs查看日志， k8s 集群中同樣...

mtunique 2019-06-28 15:45 評論0 收藏0