資訊專欄INFORMATION COLUMN
摘要：創建集群時磁盤管理方式默認為清理日志。集群運行中選磁盤管理，然后可以修改磁盤管理方式和磁盤使用率閾值，調整后立即生效。
磁盤管理方式包括自動清理日志和無操作，清理日志即為當磁盤到達設定的閾值時開始清理日志文件，避免由于磁盤寫滿導致Kafka服務不可用。
清理日志當集群中某個節點的磁盤使用率達到您設定的閾值時，UKafka會開始自動清理日志。
清理策略為：根據當前節點上各 topic 實際占用比例與磁盤總容量，按比例計算要清理到磁盤閾值之下時各 topic 的占用，以這個值設置 topic 保留大小。當磁盤使用率降低到閾值之下后，會恢復 topic 的保留大小設置。
每個 topic partition 在磁盤上會對應多個 segment 數據文件，segment 文件是可操作的最小單位，因此清理的最小粒度也是 1G。
當集群磁盤使用達到閾值時，如果 topic partition 的實際占用小于節點磁盤的 2%，為了防止 topic 限制過小導致不可用，清理服務會跳過這類 topic。
當 topic 占用增長過快時，磁盤清理可能會被頻繁觸發，磁盤清理策略可以預防磁盤寫滿導致 Kafka 服務不可用，但制定的清理策略只能被動的根據 topic 實際占比來決定，并不是最符合實際業務需求的方案，因此當出現這種情況時，建議您根據自身業務對 topic 保留策略進行調整。
開啟清理日志如果集群中所有 topic partition 都沒有達到清理限制的大小，但是因為 topic partition 總數太多導致磁盤占用率達到閾值，這時日志清理服務將不會進行工作，這種情況必須由用戶自己調整 topic 或者擴容集群
集群創建時和集群運行中都可以開啟該功能。
創建集群時磁盤管理方式默認為“清理日志”。不建議您選擇“無操作”，這樣會導致磁盤寫滿之后kafka服務不可用。
磁盤使用率閾值默認為80%，可選范圍為70%~90%。
選“磁盤管理”，然后可以修改磁盤管理方式和磁盤使用率閾值，調整后立即生效。
若選擇不由UKafka管理磁盤，十分建議您在監控中開啟磁盤使用率告警，在磁盤使用率達到80%時，可在控制臺清理各topic的舊日志。
清理方法為，選擇“topic管理”中的“更新配置”，在彈出窗口中調小“日志保存時間”。
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/126904.html
摘要：大量的和分區會嚴重影響集群性能。介紹可參考收到離線分區總數異常告警一般是某個節點宕機或者服務異常導致。若服務卡住，可在評估后在控制臺重啟該節點服務。若想了解當前請求延時情況，建議關注平均請求延時監控項。 FAQs本篇目錄一個UKafka集群可以創建多少個Topic？如何增加Topic的副本數量(ReplicationFactor)？收到離線分區總數>=10.0個告警，離線分區總數是什么，怎么...
摘要：集群管理集群管理集群管理本篇目錄創建集群創建集群調整集群參數調整集群參數創建集群創建集群創建集群點擊控制臺左上角全部產品選擇消息隊列也可鎖定到左側菜單欄。選擇完畢后，進入集群設置頁面，可對集群參數進行配置。 集群管理本篇目錄創建集群調整集群參數創建集群1. 點擊控制臺左上角全部產品選擇Kafka消息隊列 UKafka,也可鎖定到左側菜單欄。2. 進入UKafka操作界面，點擊創建集群進行UK...
摘要：概覽概覽產品簡介操作指南集群管理節點管理磁盤管理管理管理監控視圖監控項說明開發指南快速開始認證配置與外網訪問客戶端性能測試連接器產品介紹快速開始產品功能性能測試產品價格產品價格 概覽產品簡介操作指南集群管理節點管理磁盤管理Topic管理ConsumerGroup管理監控視圖監控項說明開發指南快速開始認證配置與外網訪問客戶端SDK性能測試FAQsKafka連接器產品介紹快速開始產品功能性能測試...
摘要：監控視圖監控視圖監控視圖集群監控集群監控提供小時至天多個維度的集群流入流出數據量和消息個數監控，生產者消費者監控數據，以及相關監控數據。節點監控節點監控提供每個上的磁盤網卡，服務，以及監控數據 監控視圖集群監控提供1小時至15天多個維度的集群流入、流出數據量和消息個數監控，Kafka生產者、消費者監控數據，以及Zookeeper相關監控數據。節點監控提供每個Broker上的CPU、MEM、磁...
摘要：快速開始本例以數據同步到來做說明。創建連接器點擊創建連接器按鈕，打開配置頁面。若下游為，則需配置路徑，若為，則需填寫信息。連接器列表詳情頁數據驗證參考，為集群創建，并寫入消息到其中。快速開始本例以UKafka數據同步到UHadoop來做說明。創建連接器點擊【創建連接器】按鈕，打開配置頁面。配置連接器基本信息配置按需填寫。【上游】意為Kafka連接器上游的Kafka集群，【下游】意為Kafka...
摘要：性能測試性能測試性能測試上游，下游是的連接器節點數分區數數消息大小機型速度消息數核核核核核核核上游，下游是連接器節點數分區數數消息大小機型版本機型節點數分片數副本數速度消息數核核核核核核核核核 性能測試上游UKafka，下游是UHadoop的HDFS 連接器節點數分區數broker數消息大小/byteskafka機型hadoopmasterhadoopcore速度(消息數/s)1331024...
閱讀 292·2024-11-07 18:25
閱讀 130383·2024-02-01 10:43
閱讀 870·2024-01-31 14:58
閱讀 829·2024-01-31 14:54
閱讀 82776·2024-01-29 17:11
閱讀 3066·2024-01-25 14:55
閱讀 1987·2023-06-02 13:36
閱讀 3040·2023-05-23 10:26
