国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

Elasticsearch上云使用規范問題與解決

IT那活兒 / 1656人閱讀
Elasticsearch上云使用規范問題與解決
點擊上方“IT那活兒”公眾號，關注后了解更多內容，不管IT什么活兒，干就完了！！！
一

背景介紹

Elasticsearch（以下簡稱ES） 是一個分布式、高擴展、高實時的搜索與數據分析引擎。它能很方便的使大量數據具有搜索、分析和探索的能力。充分利用ES的水平伸縮性，能使數據在生產環境變得更有價值。
ES可以用于搜索各種文檔。它提供可擴展的搜索，具有接近實時的搜索，并支持多租戶。

ES是分布式的，這意味著索引可以被分成分片，每個分片可以有0個或多個副本。每個節點托管一個或多個分片，并充當協調器將操作委托給正確的分片。再平衡和路由是自動完成的。相關數據通常存儲在同一個索引中，該索引由一個或多個主分片和零個或多個復制分片組成。一旦創建了索引，就不能更改主分片的數量。

二

問題描述

在某運營商上云業務中，依照統一的上云規范，大量的上云應用服務日志均需要接入了ES集群，用來存儲日志或者中間數據，保證異常時候可以查詢并追溯問題。但因前期對ES集群使用的經驗不足，導致了較多的問題。主要有如下幾個方面：
2.1 前期為了方便業務上云，對申請ES資源的業務及相關人員臺賬統計的不夠明確，有些僅有應用廠家聯系人甚至有些聯系人都沒有，導致后續集群調整或改造時，較難通知到對應的業務。
2.2 各種業務不用應用人員開發人員，對ES的熟悉程度良莠不齊，導致了許多使用不規范的問題，比如索引創建不帶時間，一個索引一個分片一直寫，最大的索引一個分片寫到有接近1T的數據，對集群維護和讀寫性能方面帶來了很大的挑戰和問題，經常一個大的查詢就導致節點GC宕機。
2.3 很多業務存在小數據量的索引，創建也使用了按天創建索引，一個索引至少是一個主分片，直接導致了集群索引分片浪費，一個分片只存放了幾兆甚至幾百KB的數據，導致集群的分片數量增速過快，甚至超過了單節點3000分片的默認閾值，引起集群異常。

2.4 因前期的硬件資源緊張，但上云速度較快，直接導致出現存放日志數據和存放業務數據的索引均集中在一個集群混用，彼此之間也存在較大的影響。

三

分析過程

針對以上的這些問題，我們在逐步的使用和摸索中，逐一進行了分析，對以上的問題我們也逐步解決，詳細如下：
3.1 針對半路接手維護信息，臺賬信息統計不全問題，我們首先是對所有后續新申請的業務進行了申請單制度，將原有的ES使用申請進行臺賬重新統計，必須包含局方項目經理、廠家接口人、客戶端IP、保留周期等信息，方便后續集群調整時或異常時及時通知廠家。
臺賬統計樣例：
申請單樣例：
3.2 針對ES使用方法存在不合理的方面，比如無日期索引，按日創建的小索引，我們都逐一要求業務進行整改，小索引至少保證采用按月建立，以滿足ES使用單分片30~50G的最佳實踐值。同時在申請單上反復進行強調索引創建的要求和規則，避免業務出錯。
3.3 考慮前期ES集群負載長期過高經常出問題的情況，我們對ES進行了改造和升級，首先是安裝了業務專用的ES集群，將日志和業務數據進行拆分，將前期的業務數據相關業務遷移至了業務專用集群，同時對性能不足的日志集群進行了擴容，減輕集群負載。
按月整改前后：
修改后按月創建：
3.4 在保證了業務使用ES創建索引都進行了合理的分日和分月后，我們對其索引的保留周期同樣進行了統計，然后依據不同業務不同周期，進行索引的定期offline和delete，保證ES集群的分片管理數量維持在一個良好的數據區間，保障集群的運行高效穩定。
3.5 為了滿足業務的測試需求，我們又多帶帶為業務提供了同環境的測試集群，在上線流程上我們規定所有業務均必須先進入測試環境使用，并統計測試環境臺賬，保證ES的規范合規，待業務正式上線時，檢測業務的索引模板和設置滿足要求后，才允許進入生產環境使用，從流程上杜絕亂建索引和亂配置索引的問題。

四

成果展示

經過以上從流程上、配置上進行的一些規范操作和擴容遷移操作等，原有ES集群內存使用率高經常GC問題得以解決。
內存使用率最高從91%下降至目前穩定在50%左右，且可保證長期穩定運行，再無節點出現高負載或頻繁GC導致宕機的情況出現。
整改并擴容前后集群資源使用差異：
         


本文作者：何 青(上海新炬中北團隊）

本文來源：“IT那活兒”公眾號

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/129122.html

相關文章

  • 打通本地部署和公有云，混合云架構讓“魚”和“熊掌”兼得（一）

    摘要：對于上述問題，混合云架構無疑是企業的最佳選擇。解決方案將本地環境與公有云連通組成混合云架構，實現對本地環境計算能力的快速擴展。前言當前各行各業在積極擁抱云計算，但由于一些歷史原因和合規要求導致很多企業全面上云比較困難，比如企業監管制度及合規要求一些核心數據庫必須保留在本地數據中心；本地數據中心作為企業固定資產不容易完全拋棄；有些大型集團企業IT架構復雜，全面遷移上云的影響難以評估等等。因此，...

    Tecode 評論0 收藏0

  • 打通本地部署和公有云，混合云架構讓“魚”和“熊掌”兼得（一）

    摘要：對于上述問題，混合云架構無疑是企業的最佳選擇。解決方案將本地環境與公有云連通組成混合云架構，實現對本地環境計算能力的快速擴展。前言當前各行各業在積極擁抱云計算，但由于一些歷史原因和合規要求導致很多企業全面上云比較困難，比如企業監管制度及合規要求一些核心數據庫必須保留在本地數據中心；本地數據中心作為企業固定資產不容易完全拋棄；有些大型集團企業IT架構復雜，全面遷移上云的影響難以評估等等。因此，...

    Tecode 評論0 收藏0

  • 中國公有云市場不及美國3%，企業上云是發展工業互聯網的前提

    摘要：但目前中國企業的信息化程度并不高，甚至大部分中小企業還處于工業階段。數據顯示，中國公有云市場不及美國，而美國大概只有萬家中小企業，可見中國企業上云程度有多低。三個問題，讓你徹底明白企業為什么上云以及企業上云的好處一提到企業上云，總會有很多人問上云有什么好處、為什么要上云這類問題。這些問題很簡單，卻不是簡單幾句就能回答的，問這些問題的甚至不知道什么是云，更不用提工業互聯網，有些企業連內部互聯網...

    CoreDump 評論0 收藏0

  • 可能是東半球最簡單的Java應用日志上云方案了

    摘要：輕松輸出應用日志到七牛云平臺背景云計算發展至今，企業應用的方方面面都已經在云上或者準備上云了。方案本篇主要介紹下如何利用七牛云大數據日志平臺來無縫收集應用日志，方便后續的日志分析等工作。 輕松輸出Java應用日志到七牛云平臺 背景 云計算發展至今，企業應用的方方面面都已經在云上或者準備上云了。無論是Iaas還是Paas，應用開發的首選即是上云，因為云平臺不僅可以節約開發和部署流程中的時...

    TANKING 評論0 收藏0

發表評論

0條評論

IT那活兒

男|高級講師

TA的文章

閱讀更多
最新活動
閱讀需要支付1元查看
<