2021年10月6日 并發(fā)控制

事務(wù)

把一系列操作打包，要么全做，要么全不做，
特點：原子性、一致性、隔離性、持續(xù)性
原子性：不可分割，要么全做，要么全不做；
一致性：事務(wù)執(zhí)行前后，數(shù)據(jù)保持一致，類似能量守恒，一個地方轉(zhuǎn)移到另一個地方；
隔離性：事務(wù)之間獨立進(jìn)行，互不影響；
持續(xù)性：事務(wù)執(zhí)行之后結(jié)果影響是持續(xù)的。

并發(fā)產(chǎn)生的問題

并發(fā)是為了提高操作的效率。并發(fā)操作，并行執(zhí)行，往往有問題。
1.丟失更新

				T1						T2		①	讀取A=10		②								讀取A=10		③	A=A-5寫回		④								A=A-8寫回

我們原本希望-5-8，一共-13， 但是最后的結(jié)果是2，產(chǎn)生丟失更新；
2.不可重復(fù)讀
在做加法結(jié)束時，要做驗算，但是T2的存在讓驗算不準(zhǔn)，反而出錯

				T1							T2		①	讀取A=20			讀取B=30			求和=50		②								讀取A=20										做A自增，A=A+50										寫回A=70		③	A=70			讀取B=30			求和=100		（驗算不對）

3.讀“臟”數(shù)據(jù)
T2在讀好數(shù)據(jù)后，T1做回滾操作，導(dǎo)致T2讀取的數(shù)據(jù)無效

				T1							T2		①	讀取A=20			A=A+50			寫回70		②								讀取A=70		③	RollBack			A=20

解決方案

封鎖協(xié)議（X鎖-寫鎖；S鎖-讀鎖）
一級封鎖協(xié)議：事務(wù)T在修改數(shù)據(jù)R之前，必須對其加X鎖，直到事物結(jié)束才釋放。可防止丟失修改
二級封鎖協(xié)議：一級封鎖協(xié)議加上事務(wù)T在讀取數(shù)據(jù)R之前先對其加S鎖，讀完后即可釋放S鎖。可防止丟失修改，還可以防止讀“臟”數(shù)據(jù)
三級封鎖協(xié)議：一級封鎖協(xié)議加上事務(wù)T在讀取數(shù)據(jù)R之前先對其加S鎖，知道事務(wù)結(jié)束才釋放。可防止丟失丟修改，防止讀“臟”數(shù)據(jù)，防止數(shù)據(jù)重復(fù)讀
兩段鎖協(xié)議：可串行化的。可能會發(fā)生死鎖。
死鎖問題：可以預(yù)防，可以解決死鎖

2021年10月6日 數(shù)據(jù)庫的完整性約束

實體完整性約束：定義主鍵。主鍵不能為空，不能重復(fù)
參照完整性約束：外鍵。外鍵不能隨便填，要求填入的數(shù)據(jù)是對應(yīng)表的數(shù)據(jù)。允許為空。
用戶自定義完整性約束：如輸入年齡，就不能輸入負(fù)數(shù)等。
觸發(fā)器：更加復(fù)雜的要求往往通過觸發(fā)器。

2021年10月6日 數(shù)據(jù)庫安全

2021年10月6日 數(shù)據(jù)備份

冷備份和熱備份
冷備份也稱為靜態(tài)備份，是將數(shù)據(jù)庫正常關(guān)閉，在停止?fàn)顟B(tài)下，將數(shù)據(jù)庫的文件全部備份（復(fù)制）下來
熱備份也稱為動態(tài)備份，是利用備份軟件，在數(shù)據(jù)庫正常運行的狀態(tài)下，將數(shù)據(jù)庫中的數(shù)據(jù)文件備份出來。

完全備份、差量備份、增量備份
完全備份：備份所有數(shù)據(jù)
差量備份：僅備份上一次 完全備份 之后變化的數(shù)據(jù)
增量備份：備份上一次 備份 之后變化的數(shù)據(jù)

在做過上述備份時
假如數(shù)據(jù)庫需要恢復(fù)到周三之前的版本，要經(jīng)過先恢復(fù)周一的完全備份，在恢復(fù)周二的增量備份，再恢復(fù)周三的增量備份，才能到達(dá)周三的版本。要點：需要按時間順序逐個恢復(fù)
假如要恢復(fù)到周五的數(shù)據(jù)庫，那只要先恢復(fù)周日的完全備份，再恢復(fù)周四的差量備份，再恢復(fù)周五的增量備份
靜態(tài)海量轉(zhuǎn)儲、靜態(tài)增量轉(zhuǎn)儲、動態(tài)海量轉(zhuǎn)儲、動態(tài)增量轉(zhuǎn)儲
靜態(tài)海量轉(zhuǎn)儲：在系統(tǒng)中無運行事務(wù)時進(jìn)行，每次轉(zhuǎn)儲全部數(shù)據(jù)庫。
靜態(tài)增量轉(zhuǎn)儲：在系統(tǒng)中無運行事務(wù)時進(jìn)行，每次只轉(zhuǎn)儲上一次轉(zhuǎn)儲后更新過的數(shù)據(jù)。
動態(tài)海量轉(zhuǎn)儲：轉(zhuǎn)儲期間允許對數(shù)據(jù)庫進(jìn)行存取或修改，每次轉(zhuǎn)儲全部數(shù)據(jù)庫。
動態(tài)增量轉(zhuǎn)儲：轉(zhuǎn)儲期間允許對數(shù)據(jù)庫進(jìn)行存取或修改，每次自轉(zhuǎn)出上一次轉(zhuǎn)儲后更新過的數(shù)據(jù)。
日志文件：事務(wù)日志是針對數(shù)據(jù)庫改變所做的記錄，它可以記錄針對數(shù)據(jù)庫的任何操作，并將記錄結(jié)果保存在毒理的文件中。
數(shù)據(jù)庫故障與恢復(fù)

數(shù)據(jù)倉庫與數(shù)據(jù)挖掘

數(shù)據(jù)倉庫特殊的數(shù)據(jù)庫，存放大量，不常用的數(shù)據(jù)，可以供后續(xù)做統(tǒng)計等。特點：
面向主題：只看數(shù)據(jù)庫某一個主題來組合數(shù)據(jù)
集成的：會保存一些報表信息
相對穩(wěn)定的（非易失的）：幾乎不做變化了
反映歷史變化（隨著時間變化）：隔一段時間導(dǎo)入
對數(shù)據(jù)源抽取（可能從不同數(shù)據(jù)庫提取）、清理（比如統(tǒng)一格式）、轉(zhuǎn)載、刷新
數(shù)據(jù)集市：數(shù)據(jù)倉庫的建立是分步來建立，先做集市，再做倉庫
OLAP服務(wù)器：（聯(lián)機(jī)分析處理器）對數(shù)據(jù)倉庫做分析處理的工作
表層：查詢工具、報表工具、分析工具、數(shù)據(jù)挖掘等。
數(shù)據(jù)挖掘
方法：決策樹、神經(jīng)網(wǎng)絡(luò)、遺失算法、關(guān)聯(lián)規(guī)則挖掘算法
分類：關(guān)聯(lián)分析、序列模式分析、分類分析、聚類分析

反規(guī)范化

反規(guī)范化：（用空間換時間）由于規(guī)范化會使表不斷地拆分，從而導(dǎo)致數(shù)據(jù)表過多。這樣雖然減少了數(shù)據(jù)冗余，提高了增、刪、改的速度，但是會增加查詢的工作量。系統(tǒng)需要進(jìn)行多次連接，才能進(jìn)行查詢操作，是的系統(tǒng)效率大大下降。
技術(shù)手段：
增加派生性冗余列
增加冗余列
重新組表
分割表

大數(shù)據(jù)

數(shù)據(jù)量大、處理速度快、數(shù)據(jù)多樣性、數(shù)據(jù)有價值
大數(shù)據(jù)分析與傳統(tǒng)數(shù)據(jù)分析相比難易度

大數(shù)據(jù)處理系統(tǒng)應(yīng)該具有的重要特性
√ 高度可擴(kuò)展性（集群環(huán)境可滿足）
√ 高能性（集群環(huán)境可滿足）
√ 高容錯度（集群環(huán)境可滿足）
√ 支持異構(gòu)環(huán)境
√ 較短的分析延遲
√ 易用且開放的接口
√ 較低成本
√ 向下兼容性