全部课程> Spark大数据技术与应用
Spark大数据技术与应用
- 30课时(建议每周学习0小时)
- 无
- 录播
-
会新星会员免费观看新9.9元体验新星会员周卡
已有1973人报名学习
- 课程概览
- 授课讲师
- 课程大纲
- 实验列表
- 课程概览
- 授课讲师
- 课程大纲
- 实验列表
腾科大数据实验室长期经验总结的结晶，名师名企打造大数据领域精品力作。本课程采用了以知识点和案例为导向的教学模式，按照解决实际任务的工作流程路线，逐步展开学习相关的理论知识点，推导生成可行的解决方案，最后落实在任务实现环节。深入浅出，有效降低spark技术学习门槛；资源全面，构建全方位一站式在线服务体系。
课程概览
第1章Spark概述，第2章Scala基础，第3章RDD编程，第4章Spark编程进阶，第5章结构化数据文件处理Spark SQL，第6章实时计算框架Spark Streaming
授课讲师
伍老师有10年的Java开发、大数据开发工作经验，精通Java、Scala、js、Python、sql等编程语言。熟练运用Java，运用各级框架的组合开发。并能熟悉基于Oracle、MySQL等多种数据库编程，有千万级的电信大数据处理经验；曾带领团队主导研发CRM大型项目。熟悉linux/unix平台；熟悉redis、solr、nginx、apache集群、负载均衡等等技术解决系统多并发的问题。精通Hadoop、hive、Spark等大数据组件，及华为大数据平台与数据挖掘知识体系。 项目经验： 1、广东电信营业厅效能评估子系统 2、广东电信渠道绩效业务支撑系统 3、某银行定期存款业务预测项目 4、某电商日志数据消费行为分析项目 5、AFC地铁售票机管理系统 6、广东移动销售绩效评估系统
曾老师
5年开发及2年教育经验，熟悉JavaSE、JavaWEB、MySQL、MyBatis、Spring、SpringMVC、Springboot、SpringCloud、Solr、Redis等等技术。 大数据组件：hadoop、hive、spark、Kafaka、sqoop、flume 、es 等多个大数据组件的环境的安装与使用。 授课风格：由浅入深，善于与学生互动，注重实战。 广州网耀科技有限公司 部门:教学部 职位:Java高级讲师 熟悉系统架构原理，探讨底层源码技术。负责给学生上课,辅导学生及带领学生开发项目。 广州扩普科技发展有限公司 部门:研发部 职位:项目负责人 工作描述:对新技术的探讨，研发新技术的整合。如何把新技术应用到实际的开发问题，如何把新技术向产品化转变。 广州网特优网络有限公司 职位:运营部 工作描述:除项目技术开发，同时把项目运营兼顾。一定要有良好的运营才能支撑与推动项目的发展。 项目经验： 丰富的项目经验、各种技术框架的结合。 中咨OA办公系统、中咨项目管理系统、SIC延续护理系统、众杰房产管理系统、黑品电子商城
课程大纲
- 第1章Spark概述
-
第1节 Spark简介 试听
-
第2节 Spark环境搭建 试听
-
第3节 Spark的运行架构与原理
- 第2章Scala基础
-
第1节 Scala简介
-
第2节 Scala的安装与运行
-
第3节 数据类型、变量、常量
-
第4节 表达式、数组
-
第5节 函数
-
第6节 案例：手机号码识别
-
第7节 循环控制结构
-
第8节 List、Set、Map、元组
-
第9节 函数组合器
-
第10节 案例：根据归属地信息分组
-
第11节 Scala类
-
第12节 伴生类和伴生对象
-
第13节 模式匹配
-
第14节 apply方法
-
第15节 文件的读写
- 第3章Spark编程
-
第1节 RDD的创建
-
第2节 转换操作和行动操作
-
第3节 案例：查看成绩前五的学生
-
第4节 案例：成绩为100分的学生ID
-
第5节 键值对RDD
-
第6节 案例：计算学生两门学科成绩的总分
-
第7节 RDD聚合操作
-
第8节 案例：求学生成绩平均值
-
第9节 数据的读取与存储
- 第4章Spark编程进阶
-
第1节 RDD持久化
-
第2节 RDD分区
- 第5章结构化数据文件处理Spark SQL
-
第1节 Spark SQL介绍
-
第2节 RDD和DataFrame的区别
-
第3节 DataFrame的创建
-
第4节 DataFrame的保存
-
第5节 DataFrame的常用操作
-
第6节 将RDD转换成DataFrame
-
第7节 MariaDB的安装
-
第8节 使用SparkSQL读写数据库
- 第6章实时计算框架Spark Streaming
-
第1节 Spark Streaming概述
-
第2节 DStream的工作机制
-
第3节 编写SparkStreaming程序
-
第4节 DStream读取文件流
-
第5节 DStream转换操作
-
第6节 DStream窗口操作
-
第7节 DStream读取套接字流
-
第8节 DStream输出操作
-
第9节 DStream写入数据库
-
第10节 案例：窗口操作实现用户命令的接收
实验列表
- 实验名称Spark运行环境搭建
- 实验描述Hadoop、Spark伪分布式环境的安装和配置。
- 实验名称Scala的下载和安装
- 实验描述下载Scala安装包，安装Scala，编写Scala程序helloworld并运行。
- 实验名称求学生成绩平均
- 实验描述用前面学过的内容编写spark程序，处理学生成绩的数据信息，求学生成绩平均。
- 实验名称RDD持久化
- 实验描述在需要进行多次迭代的计算中，常常需要多次使用同一组数据，由于Spark RDD是惰性求值的，因此计算资源消耗会非常大，为了避免多次计算同一个RDD，可以在Spark中设置数据持久化。
- 实验名称MariaDB的安装
- 实验描述安装MariaDB数据库，为后面的用SparkSQL读写数据库做准备。
- 实验名称窗口操作实现用户命令的接收
- 实验描述使用DStream窗口操作，在另一个终端（用户端）发送数据，运行SparkDStream程序接收数据。
- 实验名称常量和变量
- 实验描述用Scala语言声明常量和变量，掌握Scala语言的常量和变量的使用。
- 实验名称数组的基本操作
- 实验描述用Scala语言声明数组，掌握数组的基本使用。
- 实验名称函数的声明和使用
- 实验描述用Scala语言声明函数，并掌握函数的基本使用。
- 实验名称手机号码识别
- 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，编写函数识别号码，查看该号码是哪个运营商的号码。
- 实验名称九九乘法表
- 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，利用循环输出一个九九乘法表。
- 实验名称List的定义与使用
- 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，掌握List列表的定义与使用。
- 实验名称使用函数组合器
- 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，掌握各种函数组合器的用法。
- 实验名称根据归属地信息分组
- 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，根据归属地信息对手机号码段分组。
- 实验名称类的定义与使用
- 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，编写一个类并使用它。
- 实验名称伴生类和伴生对象
- 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，掌握并理解伴生类和伴生对象。
- 实验名称模式匹配
- 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，掌握并理解模式匹配。
- 实验名称apply方法的使用
- 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，掌握并理解apply方法。
- 实验名称文件的读写
- 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，掌握并理解Scala语言对文件的读写。
- 实验名称创建RDD
- 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，掌握RDD的创建。
- 实验名称操作RDD
- 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，掌握RDD的操作。
- 实验名称查看排名前五的学生
- 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，在数据中获取成绩排名前五的学生。
- 实验名称查看满分的学生
- 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，在数据中获取至少有一门成绩为100分的学生。
- 实验名称操作键值对RDD
- 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，掌握键值对RDD的操作。
- 实验名称统计总分
- 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，统计学生所有成绩的总分。
- 实验名称RDD聚合操作
- 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，掌握RDD的聚合操作。
- 实验名称数据的读写
- 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，掌握RDD数据的文件的读取和存储。
- 实验名称设置数据分区
- 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，理解并掌握设置数据分区的操作。
- 实验名称创建DataFrame
- 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，掌握DataFrame的创建。
- 实验名称保存DataFrame
- 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，掌握DataFrame的保存，将DataFrame的数据保存到本地文件。
- 实验名称DataFrame的常用操作
- 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，掌握DataFrame的常用操作。
- 实验名称RDD转DataFrame
- 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，掌握并理解从RDD转换的到DataFrame的方法和过程。
- 实验名称读取数据库数据
- 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，掌握SparkSQL对数据库数据的读写操作。
- 实验名称创建StreamingContext对象
- 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，掌握并理解创建StreamingContext对象的方法和过程。
- 实验名称读取文件流
- 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，掌握并理解DataFrame读取文件流的方法和操作。
- 实验名称DStream转换操作
- 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，掌握DataFrame的转换操作。
- 实验名称DStream窗口操作
- 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，掌握并理解DataFrame窗口操作。
- 实验名称DStream读取套接字流
- 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，掌握并理解DStream读取套接字流的方法和操作。
- 实验名称DStream输出操作
- 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，掌握并理解DataFrame输出操作。
- 实验名称DStream写入数据库
- 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，掌握并理解DStream写入数据库操作的方法。
| 节数 | 上课时间 | 星期一 | 星期二 | 星期三 | 星期四 | 星期五 | 星期六 | 星期天 |
|---|---|---|---|---|---|---|---|---|
| 第1节 | 08:00 - 08:40 | |||||||
| 第2节 | 09:00 - 09:40 | |||||||
| 第3节 | 10:00 - 10:40 | |||||||
| 第4节 | 11:00 - 11:40 | |||||||
| 第5节 | 14:00 - 14:40 | |||||||
| 第6节 | 15:00 - 15:40 | |||||||
| 第7节 | 16:00 - 16:40 | |||||||
| 第8节 | 17:00 - 17:40 |
| 天数 | 上课日期 | 上课时间 | 内容 |
|---|
相关课件 更多
-
pptx
第6章 Spark Streaming——实时计算框架
大小：2.63MB
2022-12-26
-
pptx
第5章 Spark SQL——结构化数据文件处理
大小：3.49MB
2022-12-26
-
pptx
第4章 Spark编程进阶
大小：2.82MB
2022-12-26
-
pptx
第3章 Spark编程基础
大小：1.75MB
2022-12-26
-
pptx
第2章 Scala基础
大小：1.48MB
2022-12-26
-
pptx
第1章 Spark概述
大小：2.73MB
2022-12-26
971957201
18503067430