摘要：當數據發生變化時，這種演變過程隨之發生。是一種統計報告圖，由一系列高度不等的縱向條紋或線段表示數據分布的情況。

數據:離散的，客觀事實的數字表示

信息：處理后的數據，為實際問題提供答案

　　- 為數據提供一種關系或一個關聯后，數據就成了信息，這種關聯通過提供數據背景來完成

知識: 是數據、信息和通過經驗獲得的技能

　　- 知識包括做出適當決策的能力和執行時所需的技能

觀點：

　- 如何獲取觀點: 基于已有數據信息得到最佳或現實的決策，我們可以通過數據分析

數據分析　依賴數學算法來確定產生觀點的數據之間的關系

信息是可量化的、可測度的、有形式的，可被訪問、生成、存儲、分發、搜索、壓縮和復制。
信息可以通過數量或信息量進行量化。，信息可轉換為知識，知識要比信息更量化。在某些領域，知識持續經歷一個不斷發展周期。當數據發生變化時，這種演變過程隨之發生。

通過離散算法

數據轉換：數據被轉換成信息，得到進一步處理，然后用來解決問題

　- 數據的種類不同，包括表現數據, 實驗數據,基準數據

可視化的整個過程需要不用技能和專業領域的人。

數據工人努力收集數據并完成分析
數學家和統計學家理解可視化設計原則，并用這些原則完成數據交流
設計師和藝術家和開發者具備可視化轉換的技能
業務分析員等找尋行為模式，離群點或突發趨勢
整個過程額步驟是：

獲取或收集數據：

解析和過濾數據：用編程方法進行解析、清洗和減少數據

分析提煉數據： 刪除噪音和一些不必要維度，發展模式

呈現和交互 用更容易得到和理解的方式展示數據

數據清洗：用于數據的噪音清理和矛盾糾正

數據集成：將多個數據源的數據合并起來（倉庫）

數據壓縮：通過合并、聚集、消除冗余特征等方法減少數據量

數據轉換：將數據縮放到一個較小的區間，從而提高處理和可視化的精確性和效率

提取數據 -> 刪除不一致數據 ->重建缺失數據 ->數據標準化 -> 驗證數據

-

這里我們會使用下面幾種繪圖工具

matplotlib： 是一個最基礎的Python可視化庫，作圖風格接近MATLAB，所以稱為matplotlib。一般都是從matplotlib上手Python數據可視化，然后開始做縱向與橫向拓展

Seaborn:是一個基于matplotlib的高級可視化效果庫，針對的點主要是數據挖掘和機器學習中的變量特征選取，seaborn可以用短小的代碼去繪制描述更多維度數據的可視化效果圖

Plotly： 繪圖工具，是建立在一個開放源碼庫plotly.js上，由一家擁有多種產品和開源工具的

Pyecharts : 是基于百度echarts的一個開源項目，也是我目前接觸到的最容易實現交互可視化的工具，相比bokeh和plotly，pyecharts的語法更簡單，實現效果更佳出眾(做過前端的對這個應該很了解)

Bokeh: 是一個用于做瀏覽器端交互可視化的庫，實現分析師與數據的交互

pandas： 是基于NumPy 的一種工具，該工具是為了解決數據分析任務而創建的。Pandas 納入了大量庫和一些標準的數據模型，提供了高效地操作大型數據集所需的工具。

Mapbox: 處理地理數據引擎更強的可視化工具庫

geoplotlib

cufflinks： a library for easy interactive Pandas charting with Plotly

圖形公司創造并提供免費使用，我們可以在離線模式下創建無限圖表，在線模式下最多可以創建25個圖表
當然，找更多工具戳這里

數據的可視化是表達信息的過程，在可視化化過程我們要思考：

要處理多少變量？我們試圖畫出怎樣的圖像？

x軸和y軸指代什么？（三維圖中有ｚ軸）

數據的大小是否被標準化?數據點的大小意味著什么？

我們的選色對嗎？

對于時間序列數據，我們是否試圖識別趨勢或相關性

這里有個學生數據：http://www.knapdata.com/pytho...

# -*- coding:utf-8 -*-
# usr/bin/python 3.5+
import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt

students = pd.read_csv("data/ucdavis.csv")

g = sns.FacetGrid(students, hue="gender", palette="Set1", size=6)
g.map(plt.scatter, "gpa", "computer", s=250, linewidth= 0.65, edgecolor="white")

g.add_legend()
plt.show()

seaborn: http://seaborn.pydata.org/api...

FacetGrid 類可以刻畫三個維度：　行、列、色調

　- 用于對數據子集中的一個變量的分布或者多個變量關系進行可視化

matplotlib.pyplot.bar

import numpy as np
import matplotlib.pyplot as plt

N = 7
winnersplot = (142.6, 125.3, 62.0, 81.0, 145.6, 319.4, 178.1 )
ind = np.arange(N)
width = 0.35
fig, ax = plt.subplots()
winners = ax.bar(ind, winnersplot, width, color="#ffad00")
print(winners)

nomineesplot = (109.4, 94.8, 60.7, 44.6, 116.9,262.5,102.0)
nominees = ax.bar(ind + width, nomineesplot, width, color="#9b3c38")

# add some text for labels ,title and axes ticks

ax.set_xticks(ind+width)
ax.set_xticklabels(("小明", "小紅", "小凡", "小錢", "小劉", "小趙", "小文"))
ax.legend((winners[0], nominees[0]),("奧斯卡金獎得住","奧斯卡得住提名"))

def autolabel(rects):
    # attach some text labels
   for rect in rects:
       height = rect.get_height()
       hcap = "$" + str(height) + "M"
       ax.text(rect.get_x() + rect.get_width()/2. ,height, hcap,ha = "center",va="bottom",rotation="horizontal")

autolabel(winners)
autolabel(nominees)

plt.show()

matplotlib.pyplot.pie

import matplotlib.pyplot as plt
labels = "Computer Science", "Foreign Languges","Analytical Chemistry", "Education", "Humanities", "Physics", "Biology", "Math and Statistics", "Engineering"
sizes = [21, 4, 7, 7, 8, 9, 10, 15, 19]
colors = ["yellowgreen", "gold", "lightskyblue", "lightcoral","red", "purple", "#f280de", "orange", "green"]
explode = (0,0,0,0,0,0,0,0,0.1)
plt.pie(sizes, explode=explode, labels=labels, autopct="%1.1f%%",colors=colors)
plt.axis("equal")
plt.show()

散點圖是同一組研究對象的兩個變量間關系的可視化

import numpy as np
import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt
students = pd.read_csv("data/ucdavis.csv")
g = sns.FacetGrid(students, palette="Set10",size=7)
g.map(plt.scatter, "momheight", "height",s=140, linewidth=.7,edgecolor = "#ffad40",color="#ff8000")
g.set_axis_labels("Mothers Heilsght", "Students Height")
plt.show()

散點圖最適合研究不同變量之間的關系：

男性與女性人群中不同年齡階段得皮膚病的可能性

IQ測試得分和GPA之間的相關性

另外我們還要考慮：

添加一條趨勢線或最佳擬合線（如果關系是線性的）：添加趨勢線可以展示數據之間的關聯性

使用信息標記類型：信息標記類型適用于通過形狀和顏色提高視覺效果來解讀數據的情況

氣泡圖展示了數據的三個維度，每個數據點有三重維度(a, b , c), xy軸的坐標表示兩個維度變量，氣泡的大小表示第三個維度的定量測度結果

直方圖(Histogram)又稱質量分布圖。是一種統計報告圖，由一系列高度不等的縱向條紋或線段表示數據分布的情況。 一般用橫軸表示數據類型，縱軸表示分布情況。

import numpy as np
import pandas as pd
from scipy import stats, integrate
import matplotlib.pyplot as plt  #導入

import seaborn as sns
sns.set(color_codes=True)#導入seaborn包設定顏色

np.random.seed(sum(map(ord, "distributions")))
x = np.random.normal(size=100)
sns.distplot(x, kde=False, rug=True);#kde=False關閉核密度分布,rug表示在x軸上每個觀測上生成的小細條（邊際毛毯）
plt.show()

當繪制直方圖時，你最需要確定的參數是矩形條的數目以及如何放置它們。利用bins可以方便設置矩形條的數量。如下所示：

sns.distplot(x, bins=20, kde=False, rug=True);#設置了20個矩形條

核密度估計（Kernel Density Estimation, KDE）是一種用來估計概率密度函數的非參數方法。可以通過觀測到的數據點取平均實現平滑逼近。

核密度估計是在概率論中用來估計未知的密度函數，屬于非參數檢驗方法之一。．由于核密度估計方法不利用有關數據分布的先驗知識，對數據分布不附加任何假定，是一種從數據樣本本身出發研究數據分布特征的方法，因而，在統計學理論和應用領域均受到高度的重視。

核密度函數與直方圖密切相關，但有時能夠通過核概念用平滑性或連續性賦予實際含義。
概率密度函數(Probablity Density Function,PDF)的核是PDF的形式。這種形式不考慮非變量函數因素。

這里我們用一個鳶尾花數據集和seaborn包展示KDE圖
使用seaborn 和matplotlib演示KDE圖

seaborn.distplot

This function combines the matplotlib hist function (with automatic calculation of a good default bin size) with the seaborn kdeplot() and rugplot() functions. It can also fit scipy.stats distributions and plot the estimated PDF over the data.

seaborn的displot()集合了matplotlib的hist()與核函數估計kdeplot的功能，增加了rugplot分布觀測條顯示與利用scipy庫fit擬合參數分布的新穎用途。具體用法如下：

seaborn入門（一）：distplot與kdeplot
seaborn.kdeplot

distplot()

distplot 函數默認同時繪制直方圖和KDE(核密度圖)

from numpy.random import randn
import matplotlib as mpl
import seaborn as sns
import matplotlib.pyplot as plt

#引入鳶尾花數據集
df_iris = sns.load_dataset("iris")
fig, axes = plt.subplots(1,2)
# print(df_iris["petal_length"])
# print(axes[0])


# distplot 函數默認同時繪制直方圖和KDE(核密度圖),開啟rug細條
sns.distplot(df_iris["petal_length"], ax= axes[0], rug = True)
# shade 陰影
sns.kdeplot(df_iris["petal_length"], ax = axes[1], shade = True)

plt.show()

如果不需要核密度圖，可以將kde參數設置成False。

sns.distplot(df_iris["petal_length"], ax= axes[0], kde = False, rug = True)

如果不需要核密度圖，可以將hist參數設置成False。

sns.distplot(df_iris["petal_length"], ax= axes[0], hist = False, rug = True)

# Fitting parametric distributions擬合參數分布

# 可以利用distplot() 把數據擬合成參數分布的圖形并且觀察它們之間的差距,再運用fit來進行參數控制。


import numpy as np
import seaborn as sns
import matplotlib.pyplot as plt

sns.set(style="white", palette="muted", color_codes=True)
rs = np.random.RandomState(10)

# Set up the matplotlib figure
f, axes = plt.subplots(2, 2, figsize=(7, 7), sharex=True)
sns.despine(left=True)

#引入鳶尾花數據集
df_iris = sns.load_dataset("iris")

# Plot a simple histogram with binsize determined automatically

sns.distplot(df_iris["petal_length"], ax= axes[0, 0], kde = False, color="b")

# Plot a kernel density estimate and rug plot

sns.distplot(df_iris["petal_length"], ax= axes[0, 1], kde = False, color="r", rug=True)

# Plot a filled kernel density estimate

sns.distplot(df_iris["petal_length"], ax= axes[1, 0], hist = False, color="g", kde_kws={"shade": True})

# Plot a historgram and kernel density estimate
sns.distplot(df_iris["petal_length"], color="m", ax=axes[1, 1])

plt.setp(axes, yticks=[])
plt.tight_layout()
plt.show()

使用Scipy和Numpy演示KDE圖

我們用Scipy 和 Numpy表明概率密度函數

首先用Scipy中的norm()創建正態分布樣本

然后用Numpy中的hstack()進行水平方向上的堆疊

再用Scipy中的gaussian_kde()

from scipy.stats.kde import gaussian_kde
from scipy.stats import norm
from numpy import linspace, hstack
import matplotlib.pyplot as plt
from matplotlib.pylab import plot,show, hist

sample1 = norm.rvs(loc=-0.1,scale=1,size=320)
sample2 = norm.rvs(loc=2.0,scale=0.6,size=130)
sample = hstack([sample1,sample2])
probDensityFun = gaussian_kde(sample)
plt.title("KDE Demonstration using Scipy and Numpy",fontsize=20)
x = linspace(-5,5,200)
plot(x,probDensityFun(x),"r")
hist(sample,normed=1,alpha=0.45,color="purple")
show()

利用kdeplot探索某大學學生消費習慣與助學金獲得關系
數據集如下所示：

更多內容可好看白鯨魚的另一個學習記錄：
可視化技術棧及學習計劃

數據可視化
Python數據可視化-seaborn
matplotlib 繪圖可視化知識點整理
10分鐘python圖表繪制 | seaborn入門（一）：distplot與kdeplot
Python mpl_toolkits畫3D圖
matplotlib basemap toolkit
matplotlib教程: http://nbviewer.jupyter.org/g...
python學習教程notes-python： http://nbviewer.jupyter.org/g...
9102年，該放棄matplotlib畫圖了
Pycon 2017： Python可視化庫大全
Python中除了matplotlib外還有哪些數據可視化的庫？

10 Useful Python Data Visualization Libraries for Any Discipline
Python Data Visualization: Comparing 7 tools
Dashboard API in Python
Bokeh Applications
pyecharts + notebook，真的不需要PPT了耶
三個步驟學習python可視化
一張圖看懂如何選擇正確的圖表類型