使用 Graylog 管理服務日志

Fourierr 發布于2019-06-28 16:35 / 1728人閱讀

摘要：日志管理是一件麻煩的事情，特別是服務多的情況下出了問題需要排錯分析非常困難，一般會使用，但這篇文章將會介紹另外一個同樣優秀的日志聚合平臺準備工作安裝修改鏡像倉庫安裝安裝如果覺得麻煩可以用這個部署輔助工具自動完成進入工具目錄并自動部署配置文

日志管理是一件麻煩的事情，特別是服務多的情況下出了問題需要排錯、分析非常困難，一般會使用 ELK，但這篇文章將會介紹另外一個同樣優秀的日志聚合平臺 Graylog

準備工作

安裝 docker、修改 docker 鏡像倉庫、安裝 pip、安裝 docker-compose

# 如果覺得麻煩可以用這個部署輔助工具自動完成
git clone https://github.com/kwkwc/dockerSH.git

# 進入工具目錄并自動部署
cd dockerSH && ./deploy.sh

Graylog 配置文件

graylog 的配置文件有兩個，graylog.conf、log4j2.xml，其中 graylog.conf 的內容經常會有改動，可能會導致啟動失敗，所以請從下面的地址下載（同樣是官方配置，只是版本不同）

# graylog.conf
https://github.com/kwkwc/dockerSH/blob/master/services/graylog/config/graylog.conf

# log4j2.xml
https://github.com/kwkwc/dockerSH/blob/master/services/graylog/config/log4j2.xml

注意事項

graylog 依賴 mongo、elasticsearch，如果機器配置低可能會啟動失敗

docker-compose.yml 文件

由于個人傾向于服務的獨立性，所以會多帶帶配置 mongo、elasticsearch、graylog

mongo

version: "2"
services:
  graylog-mongo:
    restart: always
    image: mongo:3.6.4
    container_name: graylog-mongo
    volumes:
      - ../data/graylog-mongo:/data/db

elasticsearch

version: "2"
services:
  graylog-elasticsearch:
    restart: always
    image: elasticsearch:5.6.9
    container_name: graylog-elasticsearch
    volumes:
      - ../data/graylog-elasticsearch:/usr/share/elasticsearch/data
    environment:
      - http.host=0.0.0.0
      - transport.host=localhost
      - network.host=0.0.0.0
      - xpack.security.enabled=false
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    mem_limit: 1g

graylog

version: "2"
services:
  graylog:
    restart: always
    image: graylog/graylog:2.4.5-2
    container_name: graylog
    volumes:
      # 配置文件這里掛載
      - ./config:/usr/share/graylog/data/config
      # 持久化數據
      - ../data/graylog:/usr/share/graylog/data/journal
    environment:
      # 密碼鹽值，隨便改
      - GRAYLOG_PASSWORD_SECRET=gr8r3hbnvfs73b8wefhweufpokdnc
      # 管理員名稱
      - GRAYLOG_ROOT_USERNAME=admin
      # 密碼需要填寫 SHA256 加密的密文，例如這里是 admin
      # echo -n admin | shasum -a 256
      - GRAYLOG_ROOT_PASSWORD_SHA2=8c6976e5b5410415bde908bd4dee15dfb167a9c873fc4bb8a81f6f2ab448a918
      # elasticsearch host
      - GRAYLOG_ELASTICSEARCH_HOSTS=http://graylog-elasticsearch:9200
      # mongo host
      - GRAYLOG_MONGODB_URI=mongodb://graylog-mongo/graylog
      # 時區
      - GRAYLOG_ROOT_TIMEZONE=Asia/Shanghai
      # 將 x.x.x.x 替換成你的 IP
      - GRAYLOG_WEB_ENDPOINT_URI=http://x.x.x.x:9000/api
      - GRAYLOG_WEB_LISTEN_URI=http://0.0.0.0:9000/
      - GRAYLOG_REST_LISTEN_URI=http://0.0.0.0:9000/api
      # 其他配置請參考 graylog.conf 文件, 在需要覆蓋的配置項前面加 "GRAYLOG_"，換成大寫
    ports:
      # web 和 api 端口
      - 9000:9000
      # Syslog TCP
      - 514:514
      # Syslog UDP
      - 514:514/udp
      # GELF TCP
      - 12201:12201
      # GELF UDP
      - 12201:12201/udp

啟動

依次啟動 mongo、elasticsearch、graylog

docker-compose up -d

瀏覽器打開

http://127.0.0.1:9000

搭建完成

設置

使用前需要先設置輸入點
點擊 “頂部導航欄” –> “System / Inputs” –> “Inputs”

“Select Input” 選擇 “GELF UDP” 然后按 “Launch new input”

選擇 “Node”，填寫 “Title”，保存

設置完成

出現綠色 “RUNNING”，證明運行成功

docker 容器日志收集

以 redis 作為示例，配置日志驅動

docker-compose.yml

version: "2"
services:
  redis:
    restart: always
    image: redis:4.0.10
    container_name: redis
    logging:
      driver: gelf
      options:
        # 將 x.x.x.x 替換成你的 IP
        gelf-address: udp://x.x.x.x:12201
        tag: "redis"

查看

redis 啟動后就可以在 graylog 的 “Search” 界面看到 redis 的日志

默認不會顯示 “tag” 標簽欄，我們需要顯示用于區分日志，只需要在左側 “Fields” 打勾就行

非 docker 容器日志收集

需要使用第三方工具收集日志再轉發到 graylog，也可以直接發送，例如 python 可以使用 graypy 這個庫

搜索

例如要搜索 redis 中包含 “WARNING” 字眼的日志（注意 “AND”、“OR” 等條件需要大寫）

備注

docker 的日志驅動有幾種，大多 ELK 的文章會介紹使用 syslog，但使用 syslog 在日志服務器斷開重啟后就不會接收到新日志，gelf 是 graylog 的日志格式，日志服務器斷開重啟依舊可以接收到新日志

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/27420.html

SpringBoot logback 整合 GrayLog

摘要：寫在前面的話網上看到的文章都是比較年前的了，剛好自己整合了下，來分享下經驗。目前所了解到的應用是通過所使用的不同的日志框架來推送數據到里面，常用的有，等。啟動項目啟動項目之后，即可在控制臺中看到項目啟動時打印的日志寫在前面的話網上看到的文章都是比較1、2年前的了，剛好自己整合了下，來分享下經驗。目前所了解到的springboot應用是通過所使用的不同的日志框架來推送數據到gra...

jzman 2019-08-19 10:49 評論0 收藏0
使用開源工具fluentd-pilot收集容器日志

摘要：來自用戶的最佳實踐分享，如何用阿里開源的日志收集工具收集機器上所有應用日志。具有如下特性一個單獨的進程收集機器上所有容器的日志。無論是強大的阿里云日志服務，還是比較流行的組合，甚至是，都能把日志投遞到正確的地點。來自用戶的最佳實踐分享，如何用阿里開源的Docker日志收集工具fluentd-pilot收集機器上所有Docker應用日志。 fluentd-pilot簡介 fluentd...

Dionysus_go 2019-06-28 16:12 評論0 收藏0
容器監控實踐—開篇

摘要：方案匯總一開源方案采集展示報警二商業方案三云廠商騰訊云阿里云百度云華為云四主機監控五日志監控六服務監控七存儲后端腦圖本文為容器監控實踐系列文章，完整內容見概述隨著越來越多的線上服務docker化，對容器的監控、報警變得越來越重要，容器監控有多種形態，有些是開源的（如promethues)，而另一些則是商業性質的(如Weave)，有些是集成在云廠商一鍵部署的（Rancher、谷歌云）...

Zack 2019-06-28 16:57 評論0 收藏0
容器監控實踐—開篇

摘要：方案匯總一開源方案采集展示報警二商業方案三云廠商騰訊云阿里云百度云華為云四主機監控五日志監控六服務監控七存儲后端腦圖本文為容器監控實踐系列文章，完整內容見概述隨著越來越多的線上服務docker化，對容器的監控、報警變得越來越重要，容器監控有多種形態，有些是開源的（如promethues)，而另一些則是商業性質的(如Weave)，有些是集成在云廠商一鍵部署的（Rancher、谷歌云）...

hellowoody 2019-07-01 16:59 評論0 收藏0
使用 Fluentd 管理 Docker 日志

摘要：使用管理日志標簽空格分隔日志管理本文作者是，本文原文地址是當前版本的一個問題就是日志管理。任何長時間運行的進程產生的日志都是冗長的，這會導致仔細檢查非常困難。所有文件這時能被轉發到一個中央日志系統。使用 Fluentd 管理 Docker 日志標簽（空格分隔）： Fluentd Docker 日志管理本文作者是 jwilder，本文原文地址是 Docker Log M...

Hujiawei 2019-06-28 14:51 評論0 收藏0