首页 > 技术文章 > 1.19学习总结:SparkSQL

wangzhaojun1670 2021-01-19 17:41 原文

一、学习视频

  https://www.bilibili.com/video/BV1oE411s7h7?p=44

二、SparkSQL简介

  Spark SQL是Spark用来处理结构化数据的一个模块,它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。

三、DataFrame概述

  与RDD类似,DataFrame也是一个分布式数据容器。然而DataFrame更像传统数据库的二维表格,除了数据以外,还记录数据的结构信息,即schema。同时,与Hive类似,DataFrame也支持嵌套数据类型(struct、array和map)。

四、DataFrame的创建

  Spark2.0以上版本,使用SparkSession接口替代SparkContext及HiveContext接口来实现数据的加载,转换,处理。SparkSession对象可以将各种各样的数据加载进来,构成DataFame,然后再将DataFrame转换成其自身的表,对这个表就可以进行SQL查询。

  在编写独立应用程序时,可以使用以下三行代码生成一个SparkSession对象。

  

 

  如果在pyspark中,会默认生成一个SparkCntext对象sc以及一个SparkSession对象spark

       SparkSession对象读取数据的三种方式:

  

 

    

 

 

  

推荐阅读