摘要：類似包中的功能這很好的解決了的大數(shù)據(jù)級(jí)瓶頸問(wèn)題。也支持分布式的機(jī)器學(xué)習(xí)算法，比如使用機(jī)器學(xué)習(xí)庫(kù)。部署本文將通過(guò)講解如何快速部署容器，并通過(guò)一些簡(jiǎn)單的機(jī)器學(xué)習(xí)例子展示如何使用這個(gè)航母級(jí)別的組合拳。

題圖為美國(guó)尼米茲核動(dòng)力航空母艦

大數(shù)據(jù)時(shí)代，我們常常面對(duì)海量數(shù)據(jù)而頭疼。作為學(xué)統(tǒng)計(jì)出身的人，我們想折騰大數(shù)據(jù)但又不想學(xué)習(xí)Hadoop或者Java，我們更傾向于把精力放在建模和算法設(shè)計(jì)上，SparkR和Docker的完美結(jié)合，讓R的計(jì)算直接從一架戰(zhàn)斗機(jī)的當(dāng)兵作戰(zhàn)華麗轉(zhuǎn)變?yōu)橐粋€(gè)航空母艦戰(zhàn)斗群！不僅僅簡(jiǎn)化了分布式計(jì)算的操作，還簡(jiǎn)化了安裝部署的環(huán)節(jié)，我們只幾乎不需要做什么改動(dòng)就可以直接運(yùn)用R中的data frame進(jìn)行分布式的計(jì)算。

參考前文 打造大數(shù)據(jù)產(chǎn)品：Shiny的Spark之旅,我們可以知道，SparkR是一個(gè)為R提供了輕量級(jí)的Spark前端的R包。 SparkR提供了一個(gè)分布式的data frame數(shù)據(jù)結(jié)構(gòu)，解決了 R中的data frame只能在單機(jī)中使用的瓶頸，它和R中的data frame 一樣支持許多操作，比如select,filter,aggregate等等。（類似dplyr包中的功能）這很好的解決了R的大數(shù)據(jù)級(jí)瓶頸問(wèn)題。 SparkR也支持分布式的機(jī)器學(xué)習(xí)算法，比如使用MLib機(jī)器學(xué)習(xí)庫(kù)。

參考前文 打造數(shù)據(jù)產(chǎn)品的快速原型：Shiny的Docker之旅，我們也可以知道，Docker是一種類似于虛擬機(jī)的技術(shù)，主要解決標(biāo)準(zhǔn)化快速部署的問(wèn)題，在Docker中安裝的軟件和主機(jī)中的軟件可以完全隔離，并通過(guò)Daocloud或者h(yuǎn)ub.docker.com等云服務(wù)快速建立Docker倉(cāng)庫(kù)，快速?gòu)?fù)用Docker鏡像。Docker已經(jīng)不僅僅是DevOps人員手中的神器了，每一個(gè)開發(fā)者都應(yīng)該學(xué)會(huì)如何使用Docker。

SparkR的精髓在于分布式計(jì)算，而Docker的精髓在于標(biāo)準(zhǔn)容器的拓展性，SparkR和Docker的組合充分結(jié)合了二者各自的優(yōu)點(diǎn)，將分布式應(yīng)用底層化繁為簡(jiǎn)，為高層計(jì)算直接暴露接口，給科學(xué)計(jì)算節(jié)省了大量時(shí)間。

本文將通過(guò)Docker講解如何快速部署SparkR－RStudio容器，并通過(guò)一些簡(jiǎn)單的機(jī)器學(xué)習(xí)例子展示如何使用這個(gè)航母級(jí)別的組合拳。

由于國(guó)內(nèi)的鏡像質(zhì)量不夠高，國(guó)外的鏡像下載速度比較慢，出于試驗(yàn)的考慮，建議大家可以嘗試使用Daocloud的鏡像加速服務(wù)。

首先，我們需要在Daocloud注冊(cè)一個(gè)賬號(hào)，然后選擇鏡像加速，根據(jù)指示選擇主機(jī)并安裝Docker和Daocloud加速器。

感謝 vinicius85 在GitHub上的開源貢獻(xiàn)，為我們已經(jīng)做好了 Spark1.6+R＋RStduio的鏡像，我們利用daocloud加速拉取鏡像。

dao pull vinicius85/spark-rstudio

以daemon形式運(yùn)行容器，暴露Rstudio－server默認(rèn)的8787端口, 并持久化docker內(nèi)的/srv目錄下的所有文件作為通訊。

docker run -d -v /home/docker:/srv -p 8787:8787 --name sparkrstudio vinicius85/sparkr-rstudio

或者通過(guò)下面最新的方式安裝

docker run -d -p 8787:8787 --name financer index.tenxcloud.com/7harryprince/sparkr-rstudio?

參考前文 R語(yǔ)言工程化實(shí)踐：RStudio Server環(huán)境快速配置教程

docker exec -d sparkrstudio bash命令表示以daemon形式執(zhí)行容器中的shell腳本

我們?cè)O(shè)置一下RStudio－Server的賬號(hào)密碼

docker exec -d sparkrstudio bash adduser harryzhu # 設(shè)置新用戶名
docker exec -d sparkrstudio bash passwd harryzhu # 設(shè)置該用戶的密碼

ifconfig命令可以查看到Docker當(dāng)前的IP地址，透過(guò)這個(gè)IP，我們可以訪問(wèn)到RStudio－Server。

比如：

查看資源占用情況

docker stats sparkrstudio

CONTAINER           CPU %               MEM USAGE / LIMIT     MEM %               NET I/O               BLOCK I/O
sparkrstudio        4.50%               481.3 MB / 5.039 GB   9.55%               133.6 kB / 117.4 kB   3.252 MB / 135.2 kB

出于演示的考慮，這里引用并稍微改進(jìn)了 tcosta 完成的一個(gè)邏輯回歸的例子：

使用SparkR之前，我們需要確定，我們的容器內(nèi)存要在2G以上，如果用AWS的乞丐版套裝，馬上就會(huì)報(bào)內(nèi)存不足的錯(cuò)誤。

Error in sparkR.init(master = "local") :
   JVM is not ready after 10 seconds

如果內(nèi)存不足，可以退出docker并且在虛擬機(jī)中重新提高docker的內(nèi)存和cpu的配置。

# 配置環(huán)境變量
Sys.setenv(SPARK_HOME="/opt/spark-1.6.0-bin-hadoop2.6")
 
.libPaths(c(file.path(Sys.getenv("SPARK_HOME"), "R", "lib"), .libPaths()))
 
Sys.setenv(JAVA_HOME="/usr/lib/jvm/java-8-oracle/")

# 加載 SparkR包
library(SparkR)
 
# 初始化RRD
#sc <- sparkR.init(master = "local")
#sqlContext <- sparkRSQL.init(sc)
# spark 2.0 后改為
sc <- sparkR.session(master = "local")

# 創(chuàng)建DataFrame
#mtcarsDF <- createDataFrame(sqlContext, mtcars)
mtcarsDF <- createDataFrame( mtcars)
head(mtcarsDF)

mpg cyl disp  hp drat    wt  qsec vs am gear carb
1 21.0   6  160 110 3.90 2.620 16.46  0  1    4    4
2 21.0   6  160 110 3.90 2.875 17.02  0  1    4    4
3 22.8   4  108  93 3.85 2.320 18.61  1  1    4    1
4 21.4   6  258 110 3.08 3.215 19.44  1  0    3    1
5 18.7   8  360 175 3.15 3.440 17.02  0  0    3    2
6 18.1   6  225 105 2.76 3.460 20.22  1  0    3    1

model <- glm(vs ~ mpg + disp + hp + wt , data = mtcarsDF, family = "binomial")# 邏輯回歸
# model <- glm(vs ~ mpg + disp + hp + wt , data = mtcarsDF, family = "gaussian")# 線性回歸
predictions <- predict(model, newData = mtcarsDF )
modelPrediction <- select(predictions, "vs", "prediction")
head(modelPrediction)

 vs prediction
1  0 0.58006945
2  0 0.64060709
3  1 0.72468718
4  1 0.47803842
5  0 0.06070972
6  1 0.54994276

# error變量: 觀測(cè)值和預(yù)測(cè)值的差值
modelPrediction$error <- abs(modelPrediction$vs - modelPrediction$prediction)
 
# modelPrediction 現(xiàn)在對(duì) SQLContext 是可見的
# registerTempTable(modelPrediction, "modelPrediction")
# Spark 2.0 之后api改為
createTempTable(modelPrediction, "modelPrediction")
 
#num_errors <- sql(sqlContext, "SELECT count(error) FROM modelPrediction WHERE error = 1")
#total_errors <- sql(sqlContext, "SELECT count(error) FROM modelPrediction")

num_errors <- sql( "SELECT count(error) FROM modelPrediction WHERE error = 1")
total_errors <- sql( "SELECT count(error) FROM modelPrediction")

# 模型錯(cuò)誤率
training_acc <- collect(num_errors) / collect(total_errors)
training_acc

 _c0
1   0

打造數(shù)據(jù)產(chǎn)品的快速原型：Shiny的Docker之旅

R語(yǔ)言工程化實(shí)踐：RStudio Server環(huán)境快速配置教程

打造大數(shù)據(jù)產(chǎn)品：Shiny的Spark之旅

Tiago Vinícius: SparkR 1.5 MLlib Logistic Regression Example

SparkR: Distributed data frames with Spark and R

SparkR R frontend for Spark

劉志強(qiáng), et al. "基于 SparkR 的分類算法并行化研究." Journal of Frontiers of Computer Science and Technology 9.11 (2015): 1281-1294.

用Parallel和foreach包玩轉(zhuǎn)并行計(jì)算

Zeppelin跟SparkR使用spark 1.5+的分析平臺(tái)建置

Fast learn scala

Spark在美團(tuán)的實(shí)踐

作為分享主義者(sharism)，本人所有互聯(lián)網(wǎng)發(fā)布的圖文均遵從CC版權(quán)，轉(zhuǎn)載請(qǐng)保留作者信息并注明作者 Harry Zhu 的 FinanceR專欄:https://segmentfault.com/blog...，如果涉及源代碼請(qǐng)注明GitHub地址：https://github.com/harryprince。微信號(hào): harryzhustudio
商業(yè)使用請(qǐng)聯(lián)系作者。