摘要：樣本均值的方差是總體方差的為樣本容量，這個結論是針對有放回抽樣的。某些情況下配對樣本比較難實現，比如藥物雙盲試驗，患者不能既服用安慰劑又服用藥物。樣本方差和總體方差的比值，符合分布。

有放回？無放回？

從總體中隨機抽取一個容量為n的樣本，當樣本容量 n足夠大(通常要求n ≥30)時，無論總體是否符合正態分布，樣本均值都會趨于正態分布。期望和總體相同，方差為總體的1/n。這即是中心極限定理，是A/B測試數據分析的基礎。

然而抽樣分為有放回和無放回兩種。樣本均值的方差是總體方差的1/n（n為樣本容量），這個結論是針對有放回抽樣的。實際試驗中，大部分是無放回的，這樣流程比較簡單。無放回抽樣，樣本均值方差見下。觀察公式可知道，當總體容量比樣本容量大很多倍時，樣本均值的方差可以近似為總體方差的1/n。

配對樣本？獨立樣本？

當兩個樣本的獲取存在關聯時，稱為配對樣本。例如比較人早晚身高變化，如果早上身高的樣本包含了張三，則晚上身高的樣本也要包含張三。

某些情況下配對樣本比較難實現，比如藥物雙盲試驗，患者不能既服用安慰劑又服用藥物。這時只能使用獨立樣本，隨機分配個體進入兩個樣本，認為2個樣本的個體統計上不存在差別。同時患者不知道自己服用的是安慰劑還是藥物，消除心理作用的影響。

互聯網產品的A/B測試和新藥試驗類似，理論上說應該讓同一組用戶同時看到多個版本進行比較，或者是看完一個版本后用時間機器倒回去再看另一個版本。顯然無法做到，只能選取試驗用戶時足夠的隨機，讓兩組用戶從統計意義上相同，認為偏差都是產品版本造成的。

樣本方差？總體方差？
A/B測試計算置信區間的公式：

置信區間計算公式中的方差項，理論上應該使用總體方差。而總體方差沒法知道，只能用樣本方差來代替了。好在樣本方差是總體方差的無偏估計。樣本方差和總體方差的比值，符合χ2分布。

時變？時不變？
A/B測試需要假設產品用戶的訪問習慣不會隨著時間的推移而發生變化。很遺憾在某些情況下并不是這樣。某些產品存在很明顯的季節因素，例如旅游。一般的A/B測試周期會包含休息日和工作日，但很難包含多個季節，在外推測試結論時要十分謹慎。另外強烈的外部事件會對用戶產生刺激，要避免在這種情況下進行A/B測試，盡量在平穩時期進行。

本文作者：吆喝科技高級客戶成功專家 韓剛