Python開發指南托管Hadoop集群 UHadoop

ernest.wang 發布于2022-07-12 17:18 / 3498人閱讀

摘要：開發指南開發指南開發指南如果使用進行機器學習方面的數據分析，需要在集群上安裝一些依賴包。以版本為例，安裝方法如下是一款專為科學和工程設計的工具包。以版本為例，安裝方法如下是下，專門面向機器學習的工具包。

developer/pythondev.md

Python開發指南

如果使用pyspark進行機器學習方面的數據分析，需要在集群上安裝一些python依賴包。這里將介紹常用的幾個依賴包的安裝方法。更多的依賴包下載及安裝，可以參考PyPI網站。

因為部分依賴包不支持2.6版本。所以，以下所有安裝均以Python2.7為例。建議將集群上的Python升級到2.7版本。

1. NumPy

NumPy一個用python實現的科學計算包，可用來存儲和處理大型矩陣，比Python自身的嵌套列表結構要高效的多。

最新版NumPy可以在PyPI網站搜索到。

以numpy-1.12.0版本為例，安裝方法如下：

unzip numpy-1.12.0.zip
cd numpy-1.12.0
python setup.py install

2. SciPy

SciPy是一款專為科學和工程設計的Python工具包。

最新版SciPy可以在PyPI網站搜索到。

在安裝Scipy前，需要先安裝好NumPy。

以scipy-0.18.1版本為例，安裝方法如下：

tar zxf scipy-0.18.1.tar.gz
cd scipy-0.18.1
python setup.py install

3. Scikit-Learn

Scikit-Learn是SciPy下，專門面向機器學習的工具包。

最新版Scikit-Learn可以在PyPI網站搜索到。

在安裝Scikit-Learn前，需要先安裝好NumPy和Scipy。

以scikit-learn-0.18.1版本為例，安裝方法如下：

tar zxf scikit-learn-0.18.1.tar.gz
cd scikit-learn-0.18.1
python setup.py install

4. Sympy

SymPy是Python的數學符號計算庫，用它可以進行數學公式的符號推導。

最新版SymPy可以在PyPI網站搜索到。

以sympy-1.0版本為例，安裝方法如下：

tar zxf sympy-1.0.tar.gz
cd sympy-1.0
python setup.py install

5. Pandas

Pandas (Python Data Analysis Library)是基于NumPy的解決數據分析任務的一種工具。

最新版Pandas可以在PyPI網站搜索到。

以pandas-0.19.2版本為例，安裝方法如下：

tar zxf pandas-0.19.2.tar.gz
cd pandas-0.19.2
python setup.py install

6. Matplotlib

Matplotlib是Python常用的繪圖庫，它提供了一整套和matlab相似的命令API，十分適合交互式地進行制圖。

最新版Matplotlib可以在PyPI網站搜索到。

以matplotlib-2.0.0版本為例，安裝方法如下：

yum install libpng-devel libpng -y
tar zxf matplotlib-2.0.0.tar.gz
cd matplotlib-2.0.0
python setup.py install

7. MySQLdb

MySQLdb是Python提供的連接MySQL的接口。

最新版MySQLdb可以在PyPI網站搜索到。

以MySQL-python-1.2.5版本為例，安裝方法如下：

yum install python-pip python-devel mysql-devel zlib-devel openssl-devel -y
unzip MySQL-python-1.2.5.zip
cd MySQL-python-1.2.5
python setup.py install

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/126892.html

托管Hadoop集群快速上手 UHadoop

摘要：也可以將托管集群設置為快捷方式，通過左側快捷方式菜單欄點擊進入。框架集群中僅部署。用于做存儲集群，有專屬的節點機型。節點管理節點，負責協調整個集群服務。目前僅節點支持綁定。通過云主機內網進行登錄。登錄密碼為集群創建時設置的密碼。快速上手本篇目錄創建集群提交任務本文檔將帶領您如何創建UHadoop集群，并使用UHadoop集群完成數據處理任務。創建集群本章簡單介紹了用戶使用UHadoop服務...

ernest.wang 2022-07-12 17:31 評論0 收藏295
Python 托管Hadoop集群 UHadoop

Python如何為Python安裝新的庫？1.yum安裝可以使用yum search命令來查找具體的包名稱請確認ucloud源上的版本是否和預期的版本一致 2.pip安裝如果本地源上面沒有，yum和pip都可以通過設置代理來通過有外網權限的機器來下載參考yum設置代理和pip設置代理3.源碼安裝可以在PyPI網站搜索需要的依賴包。下載后解壓，并執行python setup.py install來...

ernest.wang 2022-07-12 17:30 評論0 收藏2223
Hue開發指南托管Hadoop集群 UHadoop

摘要：創建任務創建任務選擇這個標簽拖動到中。頁面權限控制頁面權限控制頁面權限控制點擊管理用戶組選擇要修改的組名稱，設置相應權限并保存 Hue開發指南本篇目錄1. 配置工作流2. Hue頁面權限控制Hue是面向 Hadoop 的開源用戶界面，可以讓您更輕松地運行和開發 Hive 查詢、管理 HDFS 中的文件、運行和開發 Pig 腳本以及管理表。服務默認已經啟動，用戶只需要配置外網IP，在防火墻中配...

ernest.wang 2022-07-12 17:04 評論0 收藏1340
元數據管理托管Hadoop集群 UHadoop

摘要：架構架構元數據管理元數據管理元數據管理創建集群時可在控制臺開啟元數據獨立管理。若項目中已開啟過元數據獨立管理，則新集群開啟該功能時，不再創建新的，而是將新集群的元數據存儲于已有的中。元數據管理本篇目錄介紹產品架構元數據管理介紹UHadoop 支持將 Hive-Metastore 的數據庫獨立于 Hadoop 集群部署，也支持多個集群訪問同一個 Hive 元數據庫，可在控制臺對其做管理。產品...

ernest.wang 2022-07-12 17:38 評論0 收藏2953
常用操作托管Hadoop集群 UHadoop

摘要：查看上的歷史日志查看上的歷史日志任務的日志在任務運行結束之后會上傳到上，當日志文件過大無法通過來查看時，可以通過將日志文件從上下載下來查看。掛載在允許的主機上執行常用操作本篇目錄應用的Web接口查看日志配置NFS掛載hdfs到本地應用的Web接口Hadoop 提供了基于 Web 的用戶界面，可通過它查看您的 Hadoop 集群。Web 服務會在主節點上運行（Active NameNode或...

ernest.wang 2022-07-12 17:05 評論0 收藏1142