如何在pycharm中配置Spark

Bmob 發(fā)布于2019-07-31 10:55 / 2128人閱讀

摘要：因為作業(yè)要用到這個和就著手開始配置，但是搜了一圈還是發(fā)現(xiàn)了不少雷。如右上角所示，選擇。設(shè)置環(huán)境，創(chuàng)建和配置路徑如圖所示，都可以在安裝路徑下找到選擇你的右上角添加和的路徑這兩個文件都在中的文件夾下，自己找一下保存，

因為作業(yè)要用到這個SPARK和python, 就著手開始配置，但是搜了一圈還是發(fā)現(xiàn)了不少雷。就把我自己的解決辦法發(fā)上來：

打開pycharm,導(dǎo)入已有的或者新建工程。
2.創(chuàng)建新的run configurition。

如右上角所示，選擇edit configurition。

設(shè)置環(huán)境，創(chuàng)建PYTHONPATH和SPARK_HOME
配置路徑如圖所示，都可以在Spark安裝路徑下找到：

4.選擇 File->setting->你的project->project structure

右上角Add content root添加：py4j-some-version.zip和pyspark.zip的路徑（這兩個文件都在Spark中的python文件夾下，自己找一下）
5.保存，ok

GPU云服務(wù)器云服務(wù)器如何在spark pycharm 配置python環(huán)境在eclipse中配置php 如何在js中隱藏

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://specialneedsforspecialkids.com/yun/44337.html

相關(guān)文章

使用PyCharm配置Spark的Python開發(fā)環(huán)境（基礎(chǔ)）

摘要：在本地搭建好后，除了使用提交程序外，我們可以使用這個在本地進行開發(fā)調(diào)試提升我們的開發(fā)效率。配置過程也十分簡單，在上搜索到的。同時，加入插件后也可以使用開發(fā)程序，配置步驟一致。安裝步驟安裝配置打開，創(chuàng)建一個。在本地搭建好Spark 1.6.0后，除了使用spark-submit提交Python程序外，我們可以使用PyCharm這個IDE在本地進行開發(fā)調(diào)試,提升我們的開發(fā)效率。配置過程也...

madthumb 2019-07-24 18:29 評論0 收藏0
Python學(xué)習(xí)筆記:Ｗeb后端開發(fā)一覽

摘要：試想，在多線程服務(wù)器中，多個線程同時處理不同客戶端發(fā)送的不同請求時，每個線程看到的對象必然不同。多線程服務(wù)器會創(chuàng)建一個線程池，再從線程池中選擇一個線程用于處理接收到的請求。框架 Django flask flask是一個輕量的web開發(fā)應(yīng)用示例開發(fā)一個小應(yīng)用 from flask import Flask app = Flask(__name__) @app.route(/) d...

DrizzleX 2019-07-31 11:06 評論0 收藏0
如何開發(fā)一個 PyCharm 插件

摘要：今天我們說說怎么搭建環(huán)境自己寫一個插件。插件工程目錄結(jié)構(gòu)一個典型的插件目錄結(jié)構(gòu)就像下圖。如果成功那么在工程目錄就會生成一個同名的文件。 PyCharm 是很多 Python 開發(fā)者優(yōu)先選擇的 IDE，功能強大，跨平臺，提供免費社區(qū)版，非常良心。如果你想自己給PyCharm添加一些功能怎么辦呢？有兩個辦法：通過提需求實現(xiàn)，到 JetBrains 的 github 去提issue或者自...

LdhAndroid 2019-07-25 11:47 評論0 收藏0
Pycharm配置autopep8教程，讓Python代碼更符合pep8規(guī)范

摘要：一何為官方文檔中文翻譯轉(zhuǎn)二中配置本身是有風(fēng)格檢測的，當你敲得代碼中不符合規(guī)范時，會有下劃波浪線提示。如下圖所示最后博客鏈接翔參考機器學(xué)習(xí)入門安裝一、何為pep8? PEP 8官方文檔 -- Style Guide for Python Code PEP8中文翻譯（轉(zhuǎn)）二、Pycharm中配置pep8 Pycharm本身是有pep8風(fēng)格檢測的，當你敲得代碼中不符合規(guī)范時，會有下劃...

tuantuan 2019-07-25 10:33 評論0 收藏0