摘要：評(píng)估選項(xiàng)本報(bào)告涵蓋了為了支持工作負(fù)載涵蓋運(yùn)營(yíng)和分析，查詢引擎面臨的挑戰(zhàn)的細(xì)節(jié)，這些細(xì)節(jié)也可以作為訪問(wèn)數(shù)據(jù)庫(kù)引擎查詢引擎和存儲(chǔ)引擎組合以及滿足事務(wù)運(yùn)營(yíng)分析或混合工作負(fù)載需求的指南。

本報(bào)告涵蓋了為了支持工作負(fù)載（涵蓋OLTP、運(yùn)營(yíng)、BI和分析），查詢引擎面臨的挑戰(zhàn)的細(xì)節(jié)，這些細(xì)節(jié)也可以作為訪問(wèn)數(shù)據(jù)庫(kù)引擎、查詢引擎和存儲(chǔ)引擎組合以及滿足事務(wù)、運(yùn)營(yíng)、分析或混合工作負(fù)載需求的指南。以下評(píng)估選項(xiàng)實(shí)際上也是面臨的挑戰(zhàn)：

為了滿足您的工作負(fù)載需求，查詢引擎需要具備哪些功能？

為了滿足您的工作負(fù)載需求，存儲(chǔ)引擎需要具備哪些功能？查詢引擎能與這些存儲(chǔ)引擎進(jìn)行良好集成嗎？

對(duì)于您的應(yīng)用程序而言，哪些數(shù)據(jù)模型至關(guān)重要？哪些存儲(chǔ)引擎支持這些模型？單個(gè)查詢引擎支持這些存儲(chǔ)引擎嗎？

哪些企業(yè)級(jí)能力對(duì)您來(lái)說(shuō)很重要？查詢引擎和存儲(chǔ)引擎如何滿足這些需求？

工作負(fù)載的類型決定查詢引擎需要哪些能力。本報(bào)告論述的是支持混合HTAP工作負(fù)載，以下為相關(guān)考慮事項(xiàng)：

數(shù)據(jù)結(jié)構(gòu) – 鍵支持、聚集、分區(qū)

查詢引擎如何使用存儲(chǔ)引擎提供的鍵入訪問(wèn)？

即使存儲(chǔ)引擎僅支持單個(gè)鍵值，查詢引擎支持多列鍵嗎？

訪問(wèn)數(shù)據(jù)時(shí)，存儲(chǔ)引擎支持按鍵對(duì)數(shù)據(jù)進(jìn)行聚集、部分鍵入訪問(wèn)和前導(dǎo)鍵列謂詞嗎？

查詢引擎如何處理謂詞不在前導(dǎo)列的情況？

統(tǒng)計(jì)

查詢引擎維護(hù)數(shù)據(jù)的統(tǒng)計(jì)信息嗎？

查詢引擎收集每列、多個(gè)鍵或連接列的基數(shù)嗎？

統(tǒng)計(jì)為查詢引擎提供有關(guān)數(shù)據(jù)傾斜的信息嗎？

更新大表的統(tǒng)計(jì)信息需要多久？

添加新數(shù)據(jù)或舊數(shù)據(jù)老化時(shí)，查詢引擎是否可以增量更新統(tǒng)計(jì)信息？

非前導(dǎo)或非鍵列謂詞

即使鍵或索引的前導(dǎo)列沒(méi)有謂詞，查詢引擎是否能有效地訪問(wèn)表格中的相關(guān)行？或總是需要全表掃描？

查詢引擎如何確定跳躍掃描（skip scan）或MDAM比全表掃描更高效？

為了生成與一個(gè)數(shù)據(jù)訪問(wèn)、連接、聚合和并行度策略相關(guān)的有效計(jì)劃，查詢引擎如何使用鍵列、多鍵或連接列，以及非鍵列上的統(tǒng)計(jì)數(shù)據(jù)？

查詢引擎支持列式存儲(chǔ)引擎嗎？

訪問(wèn)列式存儲(chǔ)引擎時(shí)，為了盡快獲取符合條件的行，查詢引擎是否根據(jù)謂詞基數(shù)的順序訪問(wèn)列？

索引和物化視圖

引擎支持哪些索引？如何應(yīng)用這些索引？

索引可以是唯一的嗎？

索引始終與基表一致嗎？

支持唯一索引掃描（只訪問(wèn)索引，不訪問(wèn)源表）嗎？

這些索引對(duì)更新有什么影響（尤其是添加了更多索引時(shí)）？

這些索引如何通過(guò)批量加載不斷地進(jìn)行更新？

支持物化視圖嗎？

能同步和異步維護(hù)物化視圖嗎？

維護(hù)物化視圖的開(kāi)銷是多少？

在可行的情況下，查詢引擎是否會(huì)自動(dòng)重寫查詢以使用物化視圖？

用戶定義的物化視圖是否支持查詢重寫？

并行度

查詢引擎如何訪問(wèn)跨節(jié)點(diǎn)分區(qū)和節(jié)點(diǎn)上不同磁盤的數(shù)據(jù)？

查詢引擎是否依賴于存儲(chǔ)引擎進(jìn)行分區(qū)？或?yàn)榱瞬⑿性L問(wèn)這些分區(qū)，查詢引擎提供并行基礎(chǔ)架構(gòu)嗎？

如果查詢引擎考慮串行和并行計(jì)劃，它如何確定所需的并行度？

查詢引擎能根據(jù)并行度僅使用所需的節(jié)點(diǎn)嗎？

減少搜索空間

查詢引擎使用哪些優(yōu)化器技術(shù)？

它能為較大復(fù)雜的BI查詢生成良好的計(jì)劃、同時(shí)為較短運(yùn)營(yíng)查詢進(jìn)行快速編譯嗎？

運(yùn)營(yíng)查詢使用了哪些查詢計(jì)劃緩存技術(shù)？

如何管理查詢計(jì)劃緩存？

優(yōu)化器如何隨著工作負(fù)載的變化而發(fā)展？

優(yōu)化器能檢測(cè)查詢模式嗎？

連接類型

支持的連接類型有哪些？

如何將連接用于不同的工作負(fù)載？

使用錯(cuò)誤的連接類型有什么影響？如何避免這種影響？

數(shù)據(jù)流和訪問(wèn)

查詢引擎如何處理復(fù)雜分析查詢的大量并行數(shù)據(jù)流，同時(shí)提供對(duì)運(yùn)營(yíng)工作負(fù)載數(shù)據(jù)的直接快速訪問(wèn)？

哪些功能提高了分析工作負(fù)載和運(yùn)營(yíng)工作負(fù)載的效率（例如，預(yù)取數(shù)據(jù)）？

混合工作負(fù)載

能確定工作負(fù)載執(zhí)行的優(yōu)先級(jí)嗎？

確定工作負(fù)載優(yōu)先級(jí)的標(biāo)準(zhǔn)是什么？

能為不同服務(wù)級(jí)別的工作負(fù)載分配不同的資源嗎？

查詢優(yōu)先級(jí)隨著其占用更多資源而降低嗎？

是否有防止饑餓機(jī)制，或是否有一種方式，能在恢復(fù)低優(yōu)先級(jí)查詢之前切換執(zhí)行高優(yōu)先級(jí)查詢？

流式數(shù)據(jù)

查詢引擎能直接處理流式數(shù)據(jù)嗎？

針對(duì)流式數(shù)據(jù)需要支持哪些功能？例如，基于行和/或基于時(shí)間窗口功能？

處理流式數(shù)據(jù)的語(yǔ)法或API有哪些？這會(huì)將您鎖定到這個(gè)查詢引擎嗎？

功能支持

數(shù)據(jù)庫(kù)為運(yùn)營(yíng)、分析和所有其他工作負(fù)載提供了哪些功能？

在集成查詢引擎和存儲(chǔ)引擎之前，首先您要確定存儲(chǔ)引擎需要提供哪些功能。然后，您需要評(píng)估查詢引擎能否支持和擴(kuò)展這些功能，以及查詢引擎能否與存儲(chǔ)引擎進(jìn)行良好集成。以下問(wèn)題不僅能確定它們（查詢引擎或存儲(chǔ)引擎，或它們的組合）是否能提供支持，而且確定它們能提供什么水平的支持。

統(tǒng)計(jì)

存儲(chǔ)引擎維護(hù)數(shù)據(jù)的哪些統(tǒng)計(jì)信息？

通過(guò)這些統(tǒng)計(jì)信息，查詢引擎能更快地生成直方圖嗎？

為了避免全表掃描來(lái)計(jì)算統(tǒng)計(jì)信息，存儲(chǔ)引擎支持抽樣嗎？

為了統(tǒng)計(jì)信息的增量更新，存儲(chǔ)引擎提供訪問(wèn)最近變動(dòng)數(shù)據(jù)的方法嗎？

為了設(shè)置更新數(shù)據(jù)的間隔時(shí)間，存儲(chǔ)引擎為查詢引擎維護(hù)更新計(jì)數(shù)器嗎？

鍵結(jié)構(gòu)

存儲(chǔ)引擎支持鍵入訪問(wèn)嗎？

如果它不是多列鍵，查詢引擎會(huì)將它映射到多列鍵嗎？

它能用于前導(dǎo)鍵列的范圍訪問(wèn)嗎？

分區(qū)

存儲(chǔ)引擎如何跨磁盤和節(jié)點(diǎn)對(duì)數(shù)據(jù)進(jìn)行分區(qū)？它支持哈希和/或范圍分區(qū)、或這些分區(qū)的組合嗎？

為了跨分區(qū)平衡負(fù)載、避免性能瓶頸，查詢引擎需要對(duì)數(shù)據(jù)進(jìn)行加鹽（salt data）嗎？

如何添加一個(gè)加鹽鍵作為表格鍵最左邊的列、并且避免全表掃描？

集群擴(kuò)展或收縮時(shí)，存儲(chǔ)引擎會(huì)重新分區(qū)嗎？或由查詢引擎執(zhí)行？

達(dá)到重新平衡時(shí)，會(huì)對(duì)數(shù)據(jù)進(jìn)行完全的讀/寫訪問(wèn)嗎？

查詢引擎如何將數(shù)據(jù)訪問(wèn)本地化，并避免節(jié)點(diǎn)之間的數(shù)據(jù)亂序？

數(shù)據(jù)類型支持

查詢引擎和存儲(chǔ)引擎支持哪些數(shù)據(jù)類型？它們?nèi)绾斡成洌?/p>

可以對(duì)這些類型實(shí)施數(shù)值約束嗎？

哪個(gè)引擎實(shí)施引用約束？

支持哪些字符集？

支持排序規(guī)則嗎？

提供哪些壓縮類型？

支持加密嗎？

投影和選擇

存儲(chǔ)引擎或查詢引擎完成投影？查詢引擎和存儲(chǔ)引擎對(duì)哪些謂詞求值？

在哪對(duì)多列謂詞、IN列表和具有ORs和ANDs的多個(gè)謂詞求值？

IN列表長(zhǎng)度是多少？

存儲(chǔ)引擎根據(jù)過(guò)濾效果的順序?qū)χ^詞求值嗎？

謂詞如何比較同一表格的不同列？

在哪對(duì)謂詞中的復(fù)雜表達(dá)式（可能帶有函數(shù)）求值？

存儲(chǔ)引擎如何處理缺省值或缺失值？

為了提高性能，能使用技術(shù)（例如，矢量化、CPU LI、L2、L3緩存）減少串行化開(kāi)銷嗎？

可擴(kuò)展性

存儲(chǔ)引擎是否支持操作的服務(wù)器端下推，例如，HBase的協(xié)處理器、或Cassandra的前觸發(fā)器和后觸發(fā)器？

查詢引擎如何使用以上存儲(chǔ)引擎提供的功能？

安全執(zhí)行

查詢引擎和存儲(chǔ)引擎的安全框架是什么？它們?nèi)绾斡成涞紸NSI SQL安全執(zhí)行？

查詢引擎與底層Hadoop Kerberos安全模型集成嗎？

查詢引擎與安全框架（例如，Sentry或Ranger）集成嗎？

查詢引擎如何與安全日志、以及底層存儲(chǔ)引擎和平臺(tái)安全的SIEM功能集成？

事務(wù)管理

是否完全由存儲(chǔ)引擎提供高可用復(fù)制、備份和恢復(fù)、以及多數(shù)據(jù)中心支持？或由查詢引擎確保所有操作的一致性和完整性？

實(shí)施了什么級(jí)別的ACID或BASE事務(wù)支持？

事務(wù)支持如何在查詢引擎和存儲(chǔ)引擎之間進(jìn)行集成，例如，預(yù)寫日志和使用協(xié)處理器？事務(wù)是否具有良好的擴(kuò)展性 – 所有事務(wù)工作負(fù)載跨多個(gè)事務(wù)管理器分配嗎？

提供了多數(shù)據(jù)中心支持嗎？

支持雙活單主機(jī)復(fù)制或多主機(jī)復(fù)制嗎？

事務(wù)處理的開(kāi)銷有多大？

提供在線備份和時(shí)間點(diǎn)恢復(fù)嗎？

**元數(shù)據(jù)支持

如何將存儲(chǔ)引擎的元數(shù)據(jù)（例如，表名、位置、分區(qū)、列和數(shù)據(jù)類型）映射到查詢引擎的元數(shù)據(jù)？

如何通過(guò)查詢引擎管理存儲(chǔ)引擎的特定選項(xiàng)（例如，壓縮、加密和列族）？

查詢引擎為外部表提供事務(wù)支持、二級(jí)索引、視圖、約束和物化視圖嗎？

如果能在查詢引擎外部對(duì)外部表進(jìn)行更改，那么查詢引擎如何處理這些更改以及它們可能導(dǎo)致的差異？

性能、擴(kuò)展和并發(fā)的注意事項(xiàng)

如果存儲(chǔ)引擎有批量加載的能力，那么查詢引擎如何保證多次加載數(shù)據(jù)的事務(wù)一致性？

存儲(chǔ)引擎是否提供行集（rowset）插入和讀取，來(lái)同時(shí)處理大量行？

存儲(chǔ)引擎提供哪些類型的快速掃描選項(xiàng) – 快照掃描、預(yù)取和其他類型？

存儲(chǔ)引擎為查詢引擎的并行操作提供了簡(jiǎn)單的集成方法嗎？

存儲(chǔ)引擎支持哪些級(jí)別的并發(fā)和混合工作負(fù)載能力？

錯(cuò)誤處理

如何記錄存儲(chǔ)引擎和查詢引擎的錯(cuò)誤？

查詢引擎如何將存儲(chǔ)引擎中的錯(cuò)誤映射到有用的錯(cuò)誤信息和解決方法選項(xiàng)？

其他操作

為了最小化運(yùn)營(yíng)和性能影響，查詢引擎如何處理存儲(chǔ)引擎特定運(yùn)營(yíng)情況（例如，壓縮或拆分）？

以下為評(píng)估數(shù)據(jù)模型支持的注意事項(xiàng)：

運(yùn)營(yíng)與分析數(shù)據(jù)模型

規(guī)范化數(shù)據(jù)模型能很好地支持運(yùn)營(yíng)工作負(fù)載嗎？

星型和雪花數(shù)據(jù)模型能很好地支持分析工作負(fù)載嗎？

NoSQL數(shù)據(jù)模型

查詢引擎支持哪些存儲(chǔ)引擎數(shù)據(jù)模型 – 鍵值、有序鍵值、Bigtable、文檔、全文檢索、圖形和關(guān)系型數(shù)據(jù)模型？

查詢引擎API能在多大程度上覆蓋存儲(chǔ)引擎API？

為了支持存儲(chǔ)引擎API，查詢引擎能在多大程度上映射和/或擴(kuò)展其API？

以下是評(píng)估企業(yè)級(jí)能力的考慮事項(xiàng)：

高可用性

提供多長(zhǎng)的正常運(yùn)行時(shí)間（99.99％-99.999％）？

能在線升級(jí)底層OS（有可用于讀取和寫入的數(shù)據(jù)）嗎？

能在線升級(jí)底層文件系統(tǒng)（例如，Hadoop分布式文件系統(tǒng)）嗎？

能在線升級(jí)底層存儲(chǔ)引擎嗎？

能在線升級(jí)查詢引擎嗎？

為了適應(yīng)節(jié)點(diǎn)和/或磁盤的擴(kuò)容和收縮，能在線重新分配數(shù)據(jù)嗎？

能在線更改表格定義嗎？例如，更改所有列數(shù)據(jù)類型，添加、刪除、重命名列？

能在線創(chuàng)建和刪除二級(jí)索引？

支持在線備份——完全備份和增量備份嗎？

可管理性

支持哪些管理功能（更多信息，請(qǐng)參閱圖1-9）？

支持混合負(fù)載的管理嗎（即通過(guò)每秒的事務(wù)來(lái)分析運(yùn)營(yíng)性能，根據(jù)復(fù)雜的查詢和其結(jié)果來(lái)衡量分析性能）？

與分析工作負(fù)載相反，在運(yùn)營(yíng)工作負(fù)載上收集指標(biāo)的開(kāi)銷是多少？

能設(shè)置收集統(tǒng)計(jì)信息的間隔來(lái)減少開(kāi)銷嗎？

能否根據(jù)工作負(fù)載的優(yōu)先級(jí)和/或資源分配，使工作負(fù)載達(dá)到服務(wù)級(jí)別目標(biāo)？

能否提供從應(yīng)用到查詢引擎、再到存儲(chǔ)引擎的端到端的事務(wù)和查詢的詳細(xì)統(tǒng)計(jì)信息？

為查詢提供操作符（執(zhí)行計(jì)劃）的度量信息嗎？

為所有工作負(fù)載提供到分區(qū)級(jí)別的度量信息嗎？

能否提供足夠的信息來(lái)找出傾斜或瓶頸的位置？

如何與YARN或Mesos集成？

本報(bào)告總結(jié)了一些使用單一查詢引擎來(lái)同時(shí)滿足運(yùn)營(yíng)和分析負(fù)載可能遇到的挑戰(zhàn)。目前而言，即使未滿足HTAP的所有要求，查詢引擎也能夠滿足客戶的混合工作負(fù)載需求。該報(bào)告還闡述了您應(yīng)該尋找什么，以及在使用終極數(shù)據(jù)庫(kù)處理所有工作負(fù)載（運(yùn)營(yíng)和分析）時(shí)，您可能需要做出的調(diào)整。
?

Rohit Jain是Esgyn的聯(lián)合創(chuàng)始人和首席技術(shù)官。Esgyn是一家開(kāi)源數(shù)據(jù)庫(kù)公司，致力于構(gòu)建融合型分布式大數(shù)據(jù)平臺(tái)。2015年，惠普將Apache Trafodion（企業(yè)級(jí)大數(shù)據(jù)MPP SQL數(shù)據(jù)庫(kù)）捐贈(zèng)給了Apache軟件基金會(huì)。在Apache Trafodion的基礎(chǔ)上，EsygnDB的愿景是建立一個(gè)能處理任何數(shù)據(jù)、任何大小和任何工作負(fù)載的融合型分布式大數(shù)據(jù)平臺(tái)。在過(guò)去的28年中，作為一個(gè)資深數(shù)據(jù)庫(kù)專家，Rohit在應(yīng)用程序和數(shù)據(jù)庫(kù)開(kāi)發(fā)領(lǐng)域曾為Tandem、Compaq和Hewlett-Packard工作過(guò)。他經(jīng)驗(yàn)豐富，主要涉及在線事務(wù)處理、運(yùn)營(yíng)數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)集市、企業(yè)數(shù)據(jù)倉(cāng)庫(kù)、BI和大規(guī)模分布式并行系統(tǒng)的高級(jí)分析。