用Docker鏡像搭建ELK環境

546669204 發布于2019-06-28 16:13 / 1705人閱讀

摘要：之前在上嘗試過搭建環境，并將或中的數據導入到中。現在用提供的鏡像可以快速的完成這一操作。需要注意的是的需要設置為，如下圖否則，連接數據庫時會被拒絕連接。另外記得創建一個測試庫和表，用于測試的導入功能。

之前在Windows上嘗試過搭建ELK環境，并將MySQL或SQLServer中的數據導入到Elasticsearch中。現在用Docker提供的鏡像可以快速的完成這一操作。

環境說明
系統：Windows 10 企業版
MySQL：MySQL 5.7（官方下載鏈接）
MySQL驅動：mysql-connector-java-5.1.44-bin.jar（官方下載鏈接）
Docker for Windows：Docker Community Edition for Windows（Docker官網下載）

MySQL的安裝與設置
MySQL的安裝與設置，請參照通過Logstash由MySQL和SQL Server向Elasticsearch導入數據。
需要注意的是：root的From Host需要設置為%，如下圖：

否則，logstash連接數據庫時會被拒絕連接。
另外記得創建一個測試庫和表，用于測試logstash的導入功能。

docker-compose.yml
創建一個空的文件夾，用于存儲用到的配置文件和驅動程序。如：C:RunDockerELK（后面簡稱該文件夾）
然后在該文件夾下創建docker-compose.yml，并進行編輯，內容如下：

version: "2.2"
services:
 elasticsearch:
   image: elasticsearch
   ports: 
   - "9200:9200"
   - "9300:9300"
 kibana:
   image: kibana
   ports:
   - "5601:5601"
   links:
   - elasticsearch
   depends_on:
   - elasticsearch
 logstash:
   image: logstash
   links:
   - elasticsearch
   volumes:
   - ./:/configdir
   command: logstash -f /configdir/mysql.conf
   depends_on:
   - elasticsearch

mysql.conf
在該文件夾下創建mysql.conf，并進行編輯，內容如下：

input {
   jdbc {
       jdbc_driver_library => "/configdir/mysql-connector-java-5.1.44-bin.jar"
       jdbc_driver_class => "com.mysql.jdbc.Driver"
       jdbc_connection_string => "jdbc:mysql://123.12.1.123:3306/forelk?autoReconnect=true&useSSL=false"
       jdbc_user => "root"
       jdbc_password => "123qwe4r"
       schedule => "* * * * *"
       jdbc_default_timezone => "Asia/Shanghai"
       statement => "SELECT * FROM elktable;"
   }
}
output {
   elasticsearch {
       index => "elkdb"
       document_type => "elktable"
       document_id => "%{elkid}"
       hosts => ["123.12.1.123:9200"]
   }
}

說明：
IP123.12.1.123需要替換成你本地的IP；
123qwe4r需要替換成你本地MySQL的密碼；
任務計劃schedule => "* * * * *"的值根據自己的需求進行更改；

驅動程序
將下載好的驅動程序mysql-connector-java-5.1.44-bin.jar拷貝到該文件夾。

啟動
通過Docker的Kitematic左下角的DOCKER CLI啟動PowerShell工具，然后進入到該文件夾，執行命令：docker-compose up即可看到Elasticsearch、Kibana、Logstash的容器依次啟動。在PowerShell里可以看到導入數據的操作記錄，如下圖：

然后在本地服務器訪問http://localhost:5601，在Dev Tools下執行查詢命令，即可看到導入的結果，如下圖：

如果遇到其他問題，請自行谷歌百度。
如需轉載，請注明原文鏈接：https://segmentfault.com/a/11...

GPU云服務器云服務器 docker環境搭建 docker搭建開發環境 docker搭建java環境 docker搭建php環境

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/27201.html

使用 docker-compose 搭建一個 elk 系統

摘要：找了不少使用搭建的博客英文的閱讀吃力不說鏡像源也是慢的讓人頭皮發麻因此重新編排了一個源都是從上找的即使拉的國內鏡像源應該也能很好的支持了吧環境給每個容器最少分配的內存軟件版本啟動前的配置在各個目錄下都有對應的配置根據各自的情況自行處找了不少使用 docker-elk 搭建的博客, 英文的閱讀吃力不說, 鏡像源也是慢的讓人頭皮發麻, 因此重新編排了一個docker-compose,源都...

txgcwm 2019-06-28 16:35 評論0 收藏0
利用ELK搭建Docker容器化應用日志中心

摘要：概述應用一旦容器化以后，需要考慮的就是如何采集位于容器中的應用程序的打印日志供運維分析。 showImg(https://segmentfault.com/img/remote/1460000014146680); 概述應用一旦容器化以后，需要考慮的就是如何采集位于Docker容器中的應用程序的打印日志供運維分析。典型的比如 SpringBoot應用的日志收集。本文即將闡述如何利...

周國輝 2019-06-28 16:20 評論0 收藏0
docker環境搭建ELK

摘要：搭建系列環境搭建集群搭建集群環境搭建搭建集群環境搭建序是開源日志界的三大劍客，本文主要講怎么在里頭跑起來這一套東東。鏡像這里采用的鏡像。運行查看查看默認端口 docker搭建系列 docker環境搭建zk集群 docker搭建redis集群 docker環境搭建elasticsearch docker搭建rabbitmq集群 docker環境搭建ELK 序 ELK是開源日志界的三大...

mingde 2019-06-28 15:04 評論0 收藏0