一、Spark SQL概述 Spark SQL属于Spark计算框架的一部分,是专门负责结构化数据的处理计算框架,Spark SQL提供了两种数据抽象:DataFrame、Dataset,都是基于RDD之上的一种高级数据抽象,在RDD基础之上增加了一个schema表结构。 DataFrame是以前旧版本的数据抽象(untyped类型的数据抽象),Dataset是新版本的数据抽象(typed有类型的数据抽象),新版本当中DataFrame底层就是Dataset[Row]。 Spark SQL特点 易整合 统一的数据访问方式 兼容Hive 标准的数据库连接 二、准备Spark SQL的编程环境 1、创建Spark SQL的编程项目,scala语言支持的 2、引入编程依赖 spark-core_2.12 hadoop-hdfs spark-sql_2.12 spark-hive_2.12 hadoop的有一个依赖jackson版本和scala2.12版本冲突了,Spark依赖中也有这个依赖,但是默认使用的是pom.xml先引入的那个依赖,把hadoop中jackson依赖排除了即可。...