在前面学完了SparkCore后,又学了SparkSQL,在继续加深学习之前,一定的复习还是很重要的。这里大体写一下,加深自己对SparlSQL的理解。

1.SparkSQL

  首先是SaprkSQL与HIve的继承

  然后是ThriftServer服务(JDBC/ODBC)

  SparlSQL开发语言:

    HQL:表需要存在(可以是HIve表存在,也可以是临时表存在--这样需要DateFrame注册)

    DSL:DateFrame相关的API(select,groupby。。。)

  DateFrame:SparkSQL的抽象

    RDD+Schema

    内部是一个逻辑计划

    编程模式:read与writer编程,这是一个链式编程

  SparkSQL默认支持的数据源

    hive

    rdbms

    parquet

    json

  多数据源的数据可以进行join操作

    注册成两张临时表,然后就可以进行join了

  可以替换Sqoop的工作,做数据同步的事情

    hive,hdfs(text,parquet,avro,orc),hbase,RDBMS,redis,MongoDB

  

最新文章

  1. UWP学习记录4-设计和UI之控件和模式1
  2. 微信小程序开发总结
  3. Collections操作实例
  4. zabbix3.0.4 部署之二 (Centos6.5系统准备)
  5. MTK android flash配置
  6. 【英语】Bingo口语笔记(79) - fish系列
  7. XHR 框架与 Dojo( xhrGet,xhrPut,xhrDelete)
  8. ImageView图片不显示---------记glide框架使用时遇到的问题
  9. Scala类型声明与定义、函数定义、流程控制、异常处理
  10. OpenWrt配置opkg.conf
  11. .Net+SQL Server企业应用性能优化笔记—精确查找瓶颈
  12. Bugku-CTF之flag.php(点了login咋没反应)
  13. Python之简单验证码实现
  14. hbase-写操作
  15. 并发编程——详解 AQS CLH 锁
  16. 【代码笔记】iOS-NSTimer
  17. centos 7下安装MySQL5.7 的安装和配置
  18. [原][osgearth]OE地形平整代码解读
  19. ESXi服务器遇到 IPMI_SI_DRV 的解决, 感谢原作者 以及今天 解决问题.
  20. 读 Zepto 源码系列

热门文章

  1. EaseMode
  2. Java多线程编程核心技术---单例模式与多线程
  3. listivew 动态刷新单个item
  4. Swift55个协议的分类和讲解分析
  5. [转]JQuery Ajax 在asp.net中使用总结
  6. apache重写
  7. 1054: [HAOI2008]移动玩具 - BZOJ
  8. 原创:C sharp 中 Enum的几点小 Tips
  9. Struts学习之自定义拦截器
  10. Visual Studio 2015环境
  11. Invent 2014回顾
  12. iframe截取网站部分内容实现思路及代码
  13. ubuntu远程桌面介绍
  14. newCachedThreadPool 的使用
  15. 【转】Nginx 学习笔记(十一)nginx下安装配置naxsi waf防火墙(附完整编译、配置)
  16. 从SQLServer转储数据到MySQL
  17. Oracle数据库字段数据拆分成多行(REGEXP_SUBSTR函数)
  18. oracle控制台命令
  19. Python numpy中矩阵的用法总结
  20. 关闭shift中英文切换 英文代码/中文注释随意切换着写。