国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

Spark 學(xué)習(xí)筆記

zhoutk / 2467人閱讀

摘要：安裝從官網(wǎng)下載最新版本的發(fā)布。安裝完成后可以使用來(lái)測(cè)試是否安裝成功。在解壓后的目錄使用第一個(gè)程序是分析日志，中的。代碼如下中的所有轉(zhuǎn)換都是惰性的，只有發(fā)生一個(gè)要求返回結(jié)果給的動(dòng)作時(shí)，這些轉(zhuǎn)換才會(huì)被執(zhí)行。資源官網(wǎng)知乎精華答案編程指南版

安裝

從官網(wǎng)下載最新版本的發(fā)布。目前是1.1.0

安裝Java和JDK。安裝完成后可以使用java -version來(lái)測(cè)試是否安裝成功。

在spark解壓后的目錄使用./sbt/sbt --assembly

Hello World
第一個(gè)程序是分析Nginx日志，中的http response code。代碼如下：

from pyspark import SparkContext

logFile = "20141010.log"

sc = SparkContext("local", "Hello Spark")
logData = sc.textFile(logFile).cache()

counts = logData.map(lambda line: line.split()[8]).map(lambda word: (word, 1)).reduceByKey(lambda a, b: a + b)

counts.saveAsTextFile("spark_results")

Debug Shell

./spark-1.1.0/bin/pyspark

Submit File

./bin/spark-submit  --master local[4]   SimpleApp.py

Notes

Spark中的所有轉(zhuǎn)換都是惰性的，只有發(fā)生一個(gè)要求返回結(jié)果給Driver的動(dòng)作時(shí)，這些轉(zhuǎn)換才會(huì)被執(zhí)行。

資源
Spark官網(wǎng)
CSDN Spark
知乎精華答案
Spark編程指南（Python）版

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://specialneedsforspecialkids.com/yun/39089.html

相關(guān)文章

  • Spark學(xué)習(xí)筆記之相關(guān)記錄

    摘要：編程指南例子集群模式與如何部署集群模式提交部署應(yīng)用如何監(jiān)控算子如何配置，有哪些配置選項(xiàng)配置大全提示默認(rèn)端口端口調(diào)優(yōu) 編程指南：http://spark.apache.org/docs/... ApiDoc: http://spark.apache.org/docs/... 0、例子 http://spark.apache.org/examp... 1、集群模式與如何部署？ 集...

    daydream 評(píng)論0 收藏0

  • Spark綜合學(xué)習(xí)筆記（三）搜狗搜索日志分析

    摘要：學(xué)習(xí)致謝一數(shù)據(jù)數(shù)據(jù)網(wǎng)站二需求針對(duì)用戶查詢?nèi)罩緮?shù)據(jù)中不同字段，使用讀取日志數(shù)據(jù)，封裝到數(shù)據(jù)集中，調(diào)用函數(shù)和函數(shù)進(jìn)行處理不同業(yè)務(wù)統(tǒng)計(jì)分析三分詞工具測(cè)試使用比較流行好用的中文分區(qū)面向生產(chǎn)環(huán)境的自然語(yǔ)言處理工具包，是由一系列模 ...

    AZmake 評(píng)論0 收藏0

發(fā)表評(píng)論

0條評(píng)論

最新活動(dòng)
閱讀需要支付1元查看
<