1、數據分散在不同的數據庫實例上，形成獨立的數據孤島，難以實現數據的聚合分析。傳統的通過MySQL主從關系同步數據的方式，在MySQL5.7版本之前無法建立多對一的增量同步關系。MySQL5.7版本雖然推出了多源復制功能，但功能單一，無法進行不同庫表間的映射，且配置過" />

国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

UDTS上線數據集成服務，匯聚多源數據幫助企業高效分析決策

Tecode / 2216人閱讀

摘要：推出數據集成服務，可輕松幫助用戶完成多源聚合。數據集成服務案例數據脫敏某教育企業，使用數據集成服務，將數據脫敏處理后，再交由內部其它部進行數據分析，提取數據的有效價值。既避免了敏感數據泄漏風險，又幫助企業更快更精準的決策。

背景

由于不同業務的數據存儲和應用需求不同，企業通常會將不同業務產生的數據分別存儲在獨立的數據庫中。隨著業務架構的不斷調整，以及受開發過程的影響，原先分開存儲的數據庫逐漸暴露出一些問題：

1、數據分散在不同的數據庫實例上，形成獨立的數據孤島，難以實現數據的聚合分析。傳統的通過MySQL主從關系同步數據的方式，在MySQL5.7版本之前無法建立多對一的增量同步關系。MySQL5.7版本雖然推出了多源復制功能，但功能單一，無法進行不同庫表間的映射，且配置過程復雜，當源數量較多時容易出錯。
2、數據庫分庫分表之后存在多個數據庫實例，難以再合并到統一的庫表中。傳統的數據庫遷移工具無法處理合并過程中產生的數據沖突問題。
3、數據量越來越大，在不影響業務的前提下很難調整數據庫架構。在線修改字段類型或者字段名，要么受限于數據庫功能，要么可能給業務帶來較大影響而難以調整。

為此，UDTS在數據傳輸的基礎上，增加了數據集成服務，可實現多個數據源合并，打通數據孤島以獲得數據的統一視圖，方便業務進行數據分析決策; 助力企業靈活調整業務架構，優化現有的數據庫服務; 快速實現分庫分表合并、自定義沖突處理策略、方便業務構建數據看板。

image.png

一站式數據集成解決方案

多源數據聚合

針對數據庫分散，難以聚合的問題。UDTS推出數據集成服務，可輕松幫助用戶完成多源聚合。單個任務可支持多達 10 個數據源聚合，同時可支持不同類型網絡環境下的數據源，包括外網、內網以及專線。

舉例: 假設現在有兩個數據源，分別是 10.10.10.100:3306 和 10.10.10.120:3306 ，聚合模式如下圖所示 ：

image.png

考慮到大多數據源都承載著在線業務，為了避免多源聚合對線上業務的影響，UDTS數據集成服務還支持針對每個數據源獨立限速。

數據庫合庫合表

數據庫合庫合表通常存在以下難點:

  • 數據庫實例分散；
  • 數據可能存在沖突；
  • 對不同的數據庫需要不同的數據沖突解決方法。

針對以上這些問題，UDTS數據集成服務在多源聚合的基礎上，提供以下方式解決：

1、自定義基礎數據

  • 對于每個數據源，都可指定“是否保留目標庫的原數據”，如果選擇“是”，在導入數據表時，會保留原有數據庫表定義及數據。
  • 而如果選擇了不保留數據，則在導入數據時，會根據映射規則先清理對應的表及其數據。

image.png

  1. 自動解決數據沖突

在創建任務時可對每個數據源獨立定義數據沖突解決策略，在數據集成時，可根據自己的數據沖突解決策略來處理沖突數據。當前提供“保留”與“替換”兩種策略。

  • 保留: 當數據發生沖突時，保留目標庫中的原數據，而丟棄當前數據。

當使用保留規則時，導入數據使用 INSERT IGNORE INTO 比如 INSERT IGNORE INTO table VALUES(1 "name" 18) ，當有重復數據時，保留原有的數據，新插入的數據會被忽略。

  • 替換: 當發生數據沖突時，使用新的數據替換目標庫中原來的數據。

當使用替換規則時，導入數據使用 REPLACE INTO ，比如 REPLACE INTO table VALUES(1 "name" 18) ，老的數據將會被新數據覆蓋，集成任務中有多個子任務(多個源往同一個目標數據庫同步)時，需要注意順序。
image.png

數據庫架構調整

在開發的過程中，難免會遇到數據庫改名、表變更等問題，但等到數據庫架構要調整的時候，才發現累積了一堆“陳年舊債”。通過UDTS數據集成服務的全量+增量，不僅可以將全量數據按映射規則遷移到目標庫中，還可動態實現增量數據的庫表名稱的映射。
image.png

避免用戶對數據源鎖庫鎖表的擔憂，UDTS數據集成服務還提供了No Lock模式，在此模式下數據集成服務運行的過程中不會對源庫表進行任何的鎖操作。

數據集成服務案例

1、數據脫敏

某教育企業，使用UDTS數據集成服務，將數據脫敏處理后，再交由內部其它部?進行數據分析，提取數據的有效價值。既避免了敏感數據泄漏風險，又幫助企業更快、更精準的決策。

image.png

2、數據合并

某金融企業使用UDTS數據集成服務，將前期拆分后的數據庫合并，方便進行后續的業務開發和分析。
image.png

3、架構調整

某交友軟件為了適應新的架構，通過UDTS數據集成服務對數據庫 db 和 table 進行了重新調整，適應了新的環境。

架構的調整不僅僅是對現有數據庫的改名，還依賴于存量數據的變更、增量數據的同步、業務的回滾等。
image.png

總結

總的來說，UDTS數據集成服務帶給企業的價值主要體現在以下三個方面：

  • 多源數據聚合，數據合并，構建 BI數據看板，提取數據價值；
  • 同構數據整合，自動處理數據沖突。
  • 數據庫架構在線調整，提升業務整體性能。

UDTS數據集成服務目前正在免費公測期，歡迎前往控制臺開啟體驗～

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/126184.html

相關文章

  • UCloud數據遷移方案UDTS：在線業務數據，一鍵平滑遷移

    摘要：自上線以來，總遷移已超過級數據量。支持通過內網專線以及外網遷移數據。全量遷移在全球多地地域部署服務，根據源目位置來就近選擇運行位置，保證遷移效率。數據庫是公司核心資產的重要存儲基座，面對用戶不同場景，數據也需跨數據庫遷移。如用戶業務上云、多云災備下的數據同步、不同數據源的聚合分析等，都需數據跨數據庫的遷移。UCloud數據遷移方案UDTSUCloud數據傳輸服務UDTS(UCloud Dat...

    Tecode 評論0 收藏0

  • U產品快報 | UCloud 智能大數據平臺USDP公測、快杰裸金屬服務器上線等重要更新

    摘要：幫助企業快速搭建和使用大數據平臺，降低大數據開發運維成本。發布范圍北京二可用區灰度中。機型快杰版的數據庫實例，采用業內主流的計算存儲分離架構計算層使用高性能快杰云主機，存儲層采用超高性能云盤。UCloud PyPI私有源上線PyPI是Python官方的第三方庫的倉庫，為解決默認官方源在國內的訪問速度受限，并發請求受限，經常出現丟包、超時等問題，UCloud 近期上線了PyPI私有源。PyPI...

    Tecode 評論0 收藏0

  • 小程序上云，有點猛

    摘要：另外小程序云應用有一套高可用架構，提供監控預警能力。自主可控小程序云應用提供服務器，開發者可以擁有登錄或重啟，也可以修改密碼。也就是說，服務器是由小程序云應用提供，但使用權歸開發者。　　前不久有一個朋友問我，到底是做什么端的小程序比較好？ 　　我只問了一句，你的產品里是否涉及錢和服務，如果涉及這兩者，建議你選擇支付寶小程序。你可以通過其他小程序玩裂變，但如果你想做服務和商業，一定要考慮支付寶...

    jsdt 評論0 收藏0

  • 五分鐘教你建立有效的電子化客戶關系管理

    摘要：于是在這樣的背景下，客戶關系管理系統出現了。可以說，有了，企業就有了一套完整的客戶管理工具，也相當于有了一個數據分析的工具。 關于客戶，越來越多的企業覺得有必要對面向客戶的各項信息和活動進行集成，組建以客戶為中心的企業，實現對客戶活動的全面管理。于是在這樣的背景下，CRM（客戶關系管理）系統出現了。 而對于銷售行業來說，一套好用的CRM系統更是可以發揮出不可估量的價值。 CRM系統對于...

    forrest23 評論0 收藏0

  • 安防如何運用云計算建設智慧城市

    摘要：根據的預計截至年，全球云計算市場規模將達到億美元。雙方將積極推進云計算大數據等新一代信息技術在各領域實現深入應用，加快湖南省智慧城市建設。從目前市場發展看，很多智能安防系統都具備了云計算的架構和運算能力，在公安交通零售智慧城市等需要大根據Bain&Company的預計：截至2020年，全球云計算市場規模將達到3900億美元。與2015年的1800億美元規模相比，意味著該市場年均復合增長率將達...

    Neilyo 評論0 收藏0

發表評論

0條評論

最新活動
閱讀需要支付1元查看
<