數據脫敏大數據架構設計

lavor 發布于2019-06-24 18:22 / 3253人閱讀

摘要：需求背景系統有數據識別數據脫敏邏輯，支持可配置規則，自定義等，需要進行異構數據同步，大數據量。可用性分析可用性表格分析場景影響降級原因某臺數據同步下線無影響數據同步無狀態，調度平臺重連其他的數據同步服務。

需求背景

系統有數據識別、數據脫敏邏輯，支持可配置規則，自定義等，需要進行異構數據同步，大數據量。現在針對以下幾個需求進行講解

1、支持冗余設計
2、支持任務自動分發，支持自動負載均衡
3、支持隨時擴容節點而無需關停原有的系統和業務

架構和模塊 架構圖

五核心模塊及其主要功能

調度平臺

使用Nginx方式來調用數據中心，通過注冊中心獲取數據中心的服務列表

可以合理的根據數據同步的情況，去調用服務；比如數據同步可能存在的順序性，執行延時；

讀取控制臺DB的配置信息，定時執行數據同步任務

對數據同步的調用，可以按照簡單的輪詢方式，也可以根據數據同步服務器的性能情況，進行負載均衡

數據同步

負責執行數據庫異構數據同步任務，可支持增量，全量模式，用DataX框架來實現

服務于調度平臺的調用

會存儲數據同步的執行結果，供控制臺進行展示

會上報服務器的性能指標到數據同步DB，以供調度平臺參考

控制臺

配置管理界面，服務于用戶進行數據同步任務的配置信息，并存儲到控制臺DB中；

數據識別

負責針對數據庫的數據進行數據識別任務

數據脫敏

按照內置規則、自定義配置，負責脫敏數據

可提前進行數據脫敏，以供數據同步轉換環節調用

三個輔助服務發現模塊

注冊中心

用于服務發現和注冊

數據同步注冊實例并定期報心跳

可以用zookeerper來實現

調度平臺通過域名訪問注冊中心獲取數據同步的地址列表

Nginx

和域名系統配合，協助調度平臺訪問注冊中心獲取數據同步地址列表

和域名系統配合，協助用戶訪問控制臺進行配置管理

可用性分析

高可用通過Nginx、注冊中心來實現，可以支持動態擴容。每個主要模塊都是以無狀態集群方式部署的，各自模塊都可以通過注冊中心來實現服務注冊，模塊之間的調用服務發現來獲取，并以域名方式實現。

考慮到擴展，所以設想的方案是盡可能的做到每個服務職責單一。

這樣的拆分，也是考量到每個環節的瓶頸都不一樣，目前預估不是很精確，這樣可以為后續擴展提供方便性。

數據脫敏、數據識別需要多帶帶獨立出來，原因：本身的服務不在數據同步中，可能提前預處理進行。

通過集群部署方式，支持冗余設計。

調度平臺、Nginx集群通過數據同步性能情況,實現任務自動分發，支持自動負載均衡。

可用性分析

可用性表格分析

場景	影響	降級	原因
某臺數據同步下線	無影響	-	數據同步無狀態，調度平臺重連其他的數據同步服務。
所有數據同步下線	調度平臺無法執行數據同步任務	控制臺正常運行；調度平臺把數據同步任務放入執行隊列，等待執行	-
某個Nginx下線	無影響	-	多Nginx部署，數據完全同步，注冊中心、控制臺域名通過SLB自動切換到其他存活的Nginx
控制臺DB宕機	調度中心無影響，控制臺無法更新配置	調度平臺開啟配置緩存后，對配置的讀取不受數據庫宕機影響
某臺數據識別、數據脫敏下線	無影響	-	數據識別、數據脫敏無狀態，數據同步重連其他的數據識別、數據脫敏同步服務
全部數據識別、數據脫敏下線	無影響	-	數據同步可執行在線脫敏功能，會影響任務時長。

結論

數據同步、控制臺、調度平臺、數據識別、數據脫敏是數據脫敏的幾大核心微服務模塊，相互協作完成配置中心業務功能，Nginx、注冊中心是輔助微服務之間進行服務發現的模塊。

采用微服務架構設計，架構和部署（部署方式可以用容器思路來操作）都有一些復雜，但是每個服務職責單一，易于擴展。

GPU云服務器云服務器大數據架構設計大數據架構與設計大數據架構大數據架構大數據架構大數據

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/11990.html

余額寶11.11：基于日志數據分析的高效運維

摘要：接下來我們以余額寶為例，重點剖析天弘基金在日志數據分析領域是如何突破的此前，天弘基金一直使用開源的日志方案，研發和運維人員通過對日志數據進行處理，使用日志文件進行查詢檢索。雙十一剛剛結束，其實最緊張的不是商鋪理貨，也不是網友緊盯大促商品準備秒殺，而是網購幕后的運維人員，他們最擔心：什么網絡中斷、應用卡頓、響應速度慢，服務器宕機……雙十一作為電商 IT 部門的頭等大事，大促前，運維人員就需要...

wenshi11019 2019-04-25 17:23 評論0 收藏0
國內首款自研公有云數據庫安全服務亮相DTCC

摘要：華為云數據庫安全服務，簡稱，經過華為內部大規模實踐和廣泛邀請各行業企業試用后，已經在今年上線華為云。華為數據庫安全服務能夠更加全面的解決前文提到的敏感數據泄露的問題。5月12日，第九屆中國數據庫技術大會（DTCC2018）在北京落下帷幕，縱觀三天的會議議程，當前全球主要的數據庫例如Oracle，MySQL，SQL Server，PostgreSQL等紛紛亮相大會，來自國內外互聯網、金融、教育...

firim 2019-04-30 11:38 評論0 收藏0
深入解讀：獲Forrester大數據能力高評價的阿里云DataWorks思路與能力

摘要：阿里云成為唯一入選的中國產品。在阿里云的眾多產品中，和共同構成了服務能力的核心。作為大數據能力賦能的重要手段，出現在了等阿里云專有云解決方案中。利用云計算技術，互聯網公司得以快速的將自身的大數據處理能力對外賦能。 1.前言本文基于Now Tech: Cloud Data Warehouse, Q1 2018 (Published: by Noel Yuhanna, March 13,...

ashe 2019-06-24 17:59 評論0 收藏0
深入解讀：獲Forrester大數據能力高評價的阿里云DataWorks思路與能力

摘要：阿里云成為唯一入選的中國產品。在阿里云的眾多產品中，和共同構成了服務能力的核心。作為大數據能力賦能的重要手段，出現在了等阿里云專有云解決方案中。利用云計算技術，互聯網公司得以快速的將自身的大數據處理能力對外賦能。 1.前言本文基于Now Tech: Cloud Data Warehouse, Q1 2018 (Published: by Noel Yuhanna, March 13,...

caoym 2019-06-21 16:43 評論0 收藏0