資訊專欄INFORMATION COLUMN
簡 介
Spark SQL是spark中處理結構化數據的模塊，區別于RDD接口，Spark SQL接口提供了更多關于數據結構和執行計算的信息，Spark SQL使用這些額外的信息進行額外的優化，Spark SQL有兩種交互方式，SQL和DataSet API方式，但是這兩種方式使用的相同的執行引擎。
Spark SQL可以從Hive中讀取數據，也可以通過編程語言與Spark SQL交互，這將返回DataSet/DataFrame數據集，也可以通過命令行或JDBC/ODBC與Spark SQL進行交互。
DataSet是分布式數據集，是Spark 1.6版本新增接口，其支持java、scala語言。DataFrame相當于關系型數據庫的表，其支持的數據源有結構化文件、配置單元中的表、外部數據庫或RDD，其支持java、scala、python和R語言。
使用步驟
spark支持對hive的讀寫，但是需要增加hive依賴，自spark2.0.0版本以后，可以使用spark.sql.warehouse.dir來配置默認數據倉庫的位置。
方法如下：
spark也可以方便的與關系型數據庫進行集成，可以對關系型數據庫進行讀寫，由于關系型數據庫都是結構化數據庫，使用spark sql也可方便的進行分析。
下面以mysql為例進行說明：
1）首先需要添加驅動依賴：
2）讀取數據
3）寫入數據
創建user實體
總 結
end
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/129643.html
摘要：項目地址前言大數據技術棧思維導圖大數據常用軟件安裝指南一分布式文件存儲系統分布式計算框架集群資源管理器單機偽集群環境搭建集群環境搭建常用命令的使用基于搭建高可用集群二簡介及核心概念環境下的安裝部署和命令行的基本使用常用操作分區表和分桶表視圖 項目GitHub地址：https://github.com/heibaiying... 前 言 大數據技術棧思維導圖 大數據常用軟件安裝指...
摘要：原文鏈接簡介寫在前面本系列是綜合了自己在學習過程中的理解記錄對參考文章中的一些理解個人實踐過程中的一些心得而來。其次，本系列是基于目前最新的系列開始的，目前的更新速度很快，記錄一下版本好還是必要的。 原文鏈接：『 Spark 』1. spark 簡介 寫在前面 本系列是綜合了自己在學習spark過程中的理解記錄 ＋ 對參考文章中的一些理解 ＋ 個人實踐spark過程中的一些心得而來。寫...
摘要：摘要第九屆中國數據庫技術大會，阿里云高級技術專家架構師封神曹龍帶來題為大數據時代數據庫云架構生態實踐的演講。主要內容有三個方面首先介紹了業務挑戰帶來的架構演進，其次分析了及生態，最后分享了大數據數據庫的實際案例。數據備份及恢復。 摘要： 2018第九屆中國數據庫技術大會，阿里云高級技術專家、架構師封神（曹龍）帶來題為大數據時代數據庫-云HBase架構&生態&實踐的演講。主要內容有三個方...
閱讀 1346·2023-01-11 13:20
閱讀 1684·2023-01-11 13:20
閱讀 1132·2023-01-11 13:20
閱讀 1860·2023-01-11 13:20
閱讀 4100·2023-01-11 13:20
閱讀 2704·2023-01-11 13:20
閱讀 1385·2023-01-11 13:20
閱讀 3597·2023-01-11 13:20
