使用PyCharm配置Spark的Python開發環境（基礎）

madthumb 發布于2019-07-24 18:29 / 2334人閱讀

摘要：在本地搭建好后，除了使用提交程序外，我們可以使用這個在本地進行開發調試提升我們的開發效率。配置過程也十分簡單，在上搜索到的。同時，加入插件后也可以使用開發程序，配置步驟一致。安裝步驟安裝配置打開，創建一個。

在本地搭建好Spark 1.6.0后，除了使用spark-submit提交Python程序外，我們可以使用PyCharm這個IDE在本地進行開發調試,提升我們的開發效率。配置過程也十分簡單，在stackoverflow上搜索到的。同時，IntelliJ IDEA加入Python插件后也可以使用Python開發Spark程序，配置步驟一致。

我的博客原文地址鏈接：http://blog.tomgou.xyz/shi-yong-pycharmpei-zhi-sparkde-pythonkai-fa-huan-jing.html

0.安裝PyCharm和py4j

我的系統環境（Ubuntu 14.04.4 LTS）

下載安裝最新版本的PyCharm，官網地址：https://www.jetbrains.com/pycharm/download/ 。

安裝步驟：

Unpack the pycharm-5.0.4.tar.gz using the following command: tar xfz pycharm-5.0.4.tar.gz

Run pycharm.sh from the bin subdirectory

安裝py4j：

$ sudo pip install py4j

1.配置Pycharm

打開PyCharm，創建一個Project。
然后選擇“Run” ->“Edit Configurations” ->“Environment variables”

增加SPARK_HOME目錄與PYTHONPATH目錄。

SPARK_HOME:Spark安裝目錄

PYTHONPATH:Spark安裝目錄下的Python目錄

2.測試Pycharm

運行一個小的Spark程序看看：

"""SimpleApp"""

from pyspark import SparkContext

logFile = "/home/tom/spark-1.6.0/README.md"
sc = SparkContext("local","Simple App")
logData = sc.textFile(logFile).cache()

numAs = logData.filter(lambda s: "a" in s).count()
numBs = logData.filter(lambda s: "b" in s).count()

print("Lines with a: %i, lines with b: %i"%(numAs, numBs))

運行結果：

Lines with a: 58, lines with b: 26

GPU云服務器云服務器 pycharm 配置python環境 python開發環境配置 java開發環境的配置 linux系統如何配置java系統的開發環境

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/37777.html

如何在pycharm中配置Spark

摘要：因為作業要用到這個和就著手開始配置，但是搜了一圈還是發現了不少雷。如右上角所示，選擇。設置環境，創建和配置路徑如圖所示，都可以在安裝路徑下找到選擇你的右上角添加和的路徑這兩個文件都在中的文件夾下，自己找一下保存，因為作業要用到這個SPARK和python, 就著手開始配置，但是搜了一圈還是發現了不少雷。就把我自己的解決辦法發上來：打開pycharm,導入已有的或者新建工程。2.創建...

Bmob 2019-07-31 10:55 評論0 收藏0
工欲善其事必先利其器：用什么寫Python？

摘要：然而，每個人對編輯器的喜好各不相同，甚至引發出諸如神的編輯器與編輯器之神這種信仰之爭。我們用來寫的工具有兩類一種是被稱為的集成開發環境，它們為開發而生。但僅我上述提及的幾個其實也足夠用了。正如標題所說工欲善其事，必先利其器。通常來說，每個程序員都有自己趁手的兵器：代碼編輯器。你要是讓他換個開發環境，恐怕開發效率至少下降三成。然而，每個人對編輯器的喜好各不相同，甚至引發出諸如神的編...

Brenner 2019-07-31 11:16 評論0 收藏0
使用Docker開發Django項目

摘要：背景當多個項目且某些包無法兼容時，通常我們使用虛擬環境即可解決。但事實上不僅僅只能用于線上應用部署，我們的開發調試環境也可以使用。背景當多個Python項目且某些包無法兼容時，通常我們使用虛擬環境即可解決。但是在團隊中多個環境其實相對比較固定了，較少變更，如果換電腦或者新人加入需要重新一個一個配置虛擬環境并安裝相應的包，會耗費很多時間，而且由于重新安裝的包依賴可能會有版本變更導致...

MASAILA 2019-06-28 16:56 評論0 收藏0
使用Docker開發Django項目

摘要：背景當多個項目且某些包無法兼容時，通常我們使用虛擬環境即可解決。但事實上不僅僅只能用于線上應用部署，我們的開發調試環境也可以使用。背景當多個Python項目且某些包無法兼容時，通常我們使用虛擬環境即可解決。但是在團隊中多個環境其實相對比較固定了，較少變更，如果換電腦或者新人加入需要重新一個一個配置虛擬環境并安裝相應的包，會耗費很多時間，而且由于重新安裝的包依賴可能會有版本變更導致...

lentoo 2019-07-30 18:42 評論0 收藏0
Python開發工具之Pycharm最新安裝教程

摘要：開發工具之最新安裝教程可以說是一款進行開發功能強大的編輯器。鑒于近期很少有關最新版本的安裝教程，為了能夠幫助剛剛學習的朋友們。另外一個是社區版可以進行純的開發，免費試用無需付費。 Python開發工具之Pycharm最新安裝教程 Pycharm可以說是一款進行Python開發功能強大的編輯器...

klinson 2021-11-11 16:54 評論0 收藏0