摘要：在技術(shù)探索中，選擇了更適合云數(shù)據(jù)庫場景的架構(gòu)和引擎設(shè)計。目前，巨杉數(shù)據(jù)庫付費企業(yè)級客戶與社區(qū)用戶總數(shù)超過家，并已在超過家強級別的銀行保險證券等大型金融機構(gòu)核心生產(chǎn)業(yè)務(wù)上線。這一整體架構(gòu)設(shè)計相信是云數(shù)據(jù)發(fā)展的主流架構(gòu)設(shè)計。

分布式數(shù)據(jù)庫技術(shù)發(fā)展多年，但是在應(yīng)用、業(yè)務(wù)的驅(qū)動下，分布式數(shù)據(jù)庫的架構(gòu)一直在不斷發(fā)展和演進。

開源金融級分布式數(shù)據(jù)庫SequoiaDB，經(jīng)過6年的研發(fā)，堅持從零開始打造數(shù)據(jù)庫核心引擎。在技術(shù)探索中，選擇了更適合云數(shù)據(jù)庫場景的架構(gòu)和引擎設(shè)計。本文也將詳細展開，介紹目前SequoiaDB的架構(gòu)與設(shè)計理念。

SequoiaDB近日也完成由嘉實投資領(lǐng)投的C輪融資。本輪的領(lǐng)投方為嘉實投資，啟明創(chuàng)投與DCM作為早期投資方跟投。SequoiaDB巨杉數(shù)據(jù)庫一直堅持技術(shù)驅(qū)動產(chǎn)品，專注打造金融級分布式數(shù)據(jù)庫，成為中國首次入選Gartner數(shù)據(jù)庫報告的數(shù)據(jù)庫廠商。目前，巨杉數(shù)據(jù)庫付費企業(yè)級客戶與社區(qū)用戶總數(shù)超過1000家，并已在超過50家500強級別的銀行、保險、證券等大型金融機構(gòu)核心生產(chǎn)業(yè)務(wù)上線。

Multimodel多模數(shù)據(jù)庫引擎
在云計算與分布式時代，為單一結(jié)構(gòu)化數(shù)據(jù)服務(wù)的傳統(tǒng)關(guān)系型數(shù)據(jù)庫也開始了不斷地發(fā)展。從2007年IBM DB2支持XML以來，越來越多的關(guān)系型數(shù)據(jù)庫開始支持XML與JSON等半結(jié)構(gòu)化數(shù)據(jù)。因此，Gartner認為未來數(shù)據(jù)庫的發(fā)展方向是多模式的時代，一款成熟的數(shù)據(jù)庫產(chǎn)品需要利用分布式技術(shù)，支持除了關(guān)系型以外的多種訪問方式。
SequoiaDB則是一款典型的多模（Multi-Model）數(shù)據(jù)庫，全面覆蓋了結(jié)構(gòu)化、半結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)，同時滿足交易、影像存儲業(yè)務(wù)、以及統(tǒng)計分析業(yè)務(wù)的需求。
SequoiaDB通過其計算存儲分離架構(gòu)，在NewSQL結(jié)構(gòu)化數(shù)據(jù)領(lǐng)域有效利用MySQL、SparkSQL與PGSQL解析執(zhí)行器，在保持行業(yè)標準100%兼容的同時，完美實現(xiàn)了在線交易與離線分析的HTAP混合交易分析負載的支撐。同時SequoiaDB使用API滿足企業(yè)對半結(jié)構(gòu)化JSON數(shù)據(jù)的支持，以及通過兼容Posix文件系統(tǒng)以及S3接口實現(xiàn)了非結(jié)構(gòu)化數(shù)據(jù)的存儲與訪問。
SequoiaDB存儲使用雙引擎架構(gòu)，將文件大對象與數(shù)據(jù)記錄分別以最優(yōu)的結(jié)構(gòu)進行解析與存放，上層輔以統(tǒng)一的事務(wù)管理、集群管控、同步復(fù)制、會話管理等機制，支持數(shù)據(jù)與會話的邏輯與物理隔離，使其最大化滿足云時代的分布式管理與混合業(yè)務(wù)負載需求。
2017年底SequoiaDB發(fā)布了其3.0版本。在其發(fā)展路徑中可以看到，SequoiaDB的每一個大版本迭代均在之前的版本上進行了巨大的擴展與增強。其中，2013年正式發(fā)布的1.0版本作為單純的JSON數(shù)據(jù)庫，提供了對半結(jié)構(gòu)化數(shù)據(jù)的支撐能力。而到了2015年的2.0版本，SequoiaDB開始完全支持了對象存儲。直到2017年底發(fā)布的3.0版本更是提供了對MySQL、PGSQL與SparkSQL的完美對接與100%兼容，全面支持NewSQL的分布式事務(wù)處理能力。

SequoiaDB產(chǎn)品 發(fā)展歷程
計算-存儲分離架構(gòu)
當前業(yè)界中常見的分布式架構(gòu)包括分庫分表與計算存儲分離兩類。其中分庫分表架構(gòu)以應(yīng)用中間件切分或MyCat等產(chǎn)品為代表。而如果說分庫分表架構(gòu)是基于傳統(tǒng)數(shù)據(jù)庫進行簡單的上層封裝，真正的計算存儲分離架構(gòu)則意味著在SQL解析與底層的數(shù)據(jù)存儲均可進行自由的彈性擴展。
當前行業(yè)中最主流的云數(shù)據(jù)庫實現(xiàn)（例如AWS的Aurora、阿里云的PolarDB等）即通過將MySQL服務(wù)器直接構(gòu)建在底層的分布式高性能存儲之上，通過定制化標準的SQL引擎與底層數(shù)據(jù)通訊接口，實現(xiàn)底層分布式存儲與上層的SQL解析執(zhí)行器完全松耦合，兩者均可自由動態(tài)伸縮。

計算（SQL）-存儲 分離架構(gòu)示意

計算存儲分離體系的設(shè)計思想是以松耦合的方式將計算與存儲層分別部署，通過標準接口或插件對各個模塊和組件進行無縫替換，在計算層與存儲層均可實現(xiàn)自由的彈性伸縮。MySQL與MariaDB的架構(gòu)可以說是關(guān)系型數(shù)據(jù)庫計算存儲松耦合結(jié)構(gòu)的代表。在MySQL 5.7及之前的版本中，其SQL解析引擎與后臺的數(shù)據(jù)存儲內(nèi)核通過幾百個C++函數(shù)進行通訊。因此，在MySQL數(shù)據(jù)庫中，DBA可以選擇InnoDB、MyISAM、NDB、Memory、甚至自己實現(xiàn)一套數(shù)據(jù)庫引擎來與前端的SQL解析執(zhí)行器進行對接。

分布式數(shù)據(jù)庫“計算-存儲分離”架構(gòu)詳細示意

計算存儲分離架構(gòu)的優(yōu)勢之一在于，用戶可以根據(jù)自身的業(yè)務(wù)特征自由選擇面向交易的SQL解析器（例如MySQL或PGSQL），或面向統(tǒng)計分析的執(zhí)行引擎（例如SparkSQL）。眾所周知，使用不同的SQL優(yōu)化與執(zhí)行方式，數(shù)據(jù)庫的訪問性能可能會存在上千上萬倍的差距。計算存儲分離的核心思想便是在數(shù)據(jù)存儲層面進行一體化存儲，而計算層面則有效利用每種執(zhí)行引擎的特點，針對不同的業(yè)務(wù)場景進行選擇和優(yōu)化。

SequoiaDB架構(gòu)示意

同時，由于數(shù)據(jù)存儲層與計算層完全分離，用戶完全可以在存儲層進行邏輯與物理的隔離，將面向高頻交易的前端業(yè)務(wù)，與面向高吞吐量的統(tǒng)計分析使用不同的硬件進行存儲，確保在多類型數(shù)據(jù)訪問時互不干擾，以真正達到生產(chǎn)環(huán)境可用的多租戶與HTAP能力。

得益于SequoiaDB 3.0的分離架構(gòu)，整個數(shù)據(jù)庫可以通過自由對接不同的執(zhí)行引擎，對同一份數(shù)據(jù)以不同的接口進行訪問。同時，SequoiaDB可以通過配置，指定在線業(yè)務(wù)訪問三副本中的兩份，而另一份則專門供SparkSQL進行統(tǒng)計分析，從而做到對同一份數(shù)據(jù)的訪問，在線應(yīng)用與統(tǒng)計業(yè)務(wù)在物理硬件層面完全隔離。

計算-存儲分離架構(gòu)下的業(yè)務(wù)靈活隔離劃分

對于在線交易業(yè)務(wù)來說，由于所有的分布式事務(wù)、鎖、索引等機制都是直接在底層的分布式引擎完成，上層使用任何SQL解析器都可以做到完全的ACID。
彈性伸縮
在云計算的時代，任何應(yīng)用程序與中間件早已經(jīng)通過微服務(wù)架構(gòu)實現(xiàn)了動態(tài)擴容縮容。例如，企業(yè)可以在雙十一高峰前大規(guī)模租賃AWS或阿里云的服務(wù)器，將應(yīng)用程序的計算與處理能力幾十倍地擴張。
但是，不同于應(yīng)用程序，數(shù)據(jù)層面的彈性伸縮能力往往是應(yīng)用程序擴展性最大的制約。例如，應(yīng)用程序可以在一天內(nèi)不停機地從3個Tomcat服務(wù)器擴展到30個，但底層的數(shù)據(jù)分庫分表機制幾乎不可能輕松自如地增減數(shù)據(jù)庫的服務(wù)節(jié)點。

SequoiaDB存儲引擎原生分布式架構(gòu)

SequoiaDB通過一致性散列等機制，對底層數(shù)據(jù)庫擴容縮容做到完全在線且對應(yīng)用透明無感知。對于需要存放大量數(shù)據(jù)的流水類業(yè)務(wù)，SequoiaDB甚至能夠提供“零數(shù)據(jù)遷移”策略，確保增加節(jié)點后系統(tǒng)不會產(chǎn)生任何需要產(chǎn)生大量I/O的后臺重平衡操作。
SequoiaDB可以通過增加數(shù)據(jù)分區(qū)與數(shù)據(jù)節(jié)點數(shù)量，對整個集群的存儲容量與計算能力進行彈性水平橫向擴張。
MySQL全兼容
SequoiaDB通過“計算-存儲分離”架構(gòu)，提供了應(yīng)用程序?qū)用娴腗ySQL全兼容能力。SequoiaDB直接利用在MySQL官網(wǎng)下載的MySQL Server，通過其存儲引擎插件的能力，提供了平行于InnoDB的SequoiaDB分布式存儲引擎插件。
SequoiaDB完全利用了大家多年來所習(xí)慣使用的MySQL數(shù)據(jù)庫服務(wù)，對于應(yīng)用程序開發(fā)人員與DBA來說并不需要學(xué)習(xí)任何新的知識與語法，便可以無縫地將其應(yīng)用程序從傳統(tǒng)的單點架構(gòu)遷移到分布式數(shù)據(jù)庫。在從InnoDB存儲引擎向SequoiaDB分布式引擎切換時，所有的數(shù)據(jù)分區(qū)機制對上層應(yīng)用程序完全透明零感知。同時SequoiaDB也提供了包括離線、在線、實時等多種遷移工具，供用戶在不同場景下進行選擇。
如今MySQL已經(jīng)被大量互聯(lián)網(wǎng)與企業(yè)級用戶所使用。相比起需要重新構(gòu)建SQL解析器與執(zhí)行器的分庫分表策略，SequoiaDB的計算-存儲分離架構(gòu)能夠最大化重用開發(fā)人員與DBA的原有技能，同時與MySQL社區(qū)保持緊密結(jié)合互動，通過其分布式存儲能力參與到MySQL的生態(tài)建設(shè)。

SequoiaDB對MySQL完整兼容示意
小結(jié)
以Multimodel多模數(shù)據(jù)存儲引擎為基礎(chǔ)，通過業(yè)界主流的計算-存儲分離架構(gòu)，實現(xiàn)引擎的分布式以及SQL層對于MySQL、PostgreSQL以及SparkSQL的完整兼容。這一整體架構(gòu)設(shè)計相信是云數(shù)據(jù)發(fā)展的主流架構(gòu)設(shè)計。

SequoiaDB正是應(yīng)用了這一架構(gòu)設(shè)計，實現(xiàn)了彈性擴張、多租戶、HTAP支持、與MySQL全兼容等能力，這也使開源的SequoiaDB能夠更加緊密地參與到社區(qū)建設(shè)中，為我國的數(shù)據(jù)庫基礎(chǔ)軟件發(fā)展與MySQL社區(qū)的壯大貢獻自己的力量！通過此次融資，巨杉數(shù)據(jù)庫將持續(xù)投入核心研發(fā)與技術(shù)創(chuàng)新，立足于金融行業(yè)覆蓋其他垂直領(lǐng)域市場，拓展更多企業(yè)級應(yīng)用場景，加速國際化步伐，將巨杉數(shù)據(jù)庫打造成為世界級的分布式數(shù)據(jù)庫產(chǎn)品！