- 课程概览
- 授课讲师
- 课程大纲
- 实验列表
- 课程概览
- 授课讲师
- 课程大纲
- 实验列表
Spark编程基础
Spark是当前热门的大数据处理技术，本课程重点介绍Spark的技术原理与编程方法。课程由全国高校知名大数据教师厦门大学林子雨老师主讲，采用林子雨等编著的《Spark编程基础（Scala版）》作为课程教材。Spark支持采用Scala、Java、Python和R语言进行编程，本课程采用Scala语言编写Spark应用程
课程概览
授课讲师
课程大纲
- 第1章大数据技术概述
-
第1节 大数据时代
-
第2节 大数据概念
-
第3节 大数据的影响
-
第4节 大数据关键技术
-
第5节 大数据计算模式
-
第6节 代表性大数据技术
- 第2章Scala语言基础
-
第1节 Scala语言概述
-
第2节 Scala基础知识
-
第3节 面向对象编程基础
-
第4节 函数式编程基础
- 第3章Spark的设计与运行原理
-
第1节 Spark概述
-
第2节 Spark生态系统
-
第3节 Spark运行架构
-
第4节 Spark的部署和应用方式
- 第4章Spark环境搭建和使用方法
-
第1节 安装Spark
-
第2节 在spark-shell中运行代码
-
第3节 开发Spark独立应用程序
-
第4节 Spark集群环境搭建
-
第5节 在集群上运行Spark应用程序
- 第5章RDD编程
-
第1节 RDD编程基础
-
第2节 键值对RDD
-
第3节 数据读写
-
第4节 综合案例
- 第6章SparkSQL
-
第1节 SparkSQL简介
-
第2节 DataFrame
-
第3节 从RDD转换得到DataFrame
-
第4节 使用SparkSQL读写数据库
- 第7章SparkStreaming
-
第1节 流计算概述
-
第2节 SparkStreaming
-
第3节 DStream操作概述
-
第4节 基本输入源
-
第5节 高级数据源
-
第6节 转换操作
-
第7节 输出操作
-
第8节 StructuredStreaming
- 第8章SparkMLlib
-
第1节 SparkMLlib简介
-
第2节 机器学习流水线
-
第3节 特征抽取、转化和选择
-
第4节 分类与回归
实验列表
| 节数 | 上课时间 | 星期一 | 星期二 | 星期三 | 星期四 | 星期五 | 星期六 | 星期天 |
|---|---|---|---|---|---|---|---|---|
| 第1节 | 08:00 - 08:40 | |||||||
| 第2节 | 09:00 - 09:40 | |||||||
| 第3节 | 10:00 - 10:40 | |||||||
| 第4节 | 11:00 - 11:40 | |||||||
| 第5节 | 14:00 - 14:40 | |||||||
| 第6节 | 15:00 - 15:40 | |||||||
| 第7节 | 16:00 - 16:40 | |||||||
| 第8节 | 17:00 - 17:40 |
| 天数 | 上课日期 | 上课时间 | 内容 |
|---|
相关课件 更多
-
srt
[8.4.2]--8.4.2决策树分类器
大小：19.44KB
2020-02-28
-
srt
[8.4.1]--8.4.1逻辑斯蒂回归分类器
大小：32.45KB
2020-02-28
-
srt
[8.3.3]--8.3.3特征抽取：CountVectorizer
大小：13.35KB
2020-02-28
-
srt
[8.3.2]--8.3.2特征抽取：Word2Vec
大小：12.42KB
2020-02-28
-
srt
[8.3.1]--8.3.1特征抽取：TF-IDF
大小：38.95KB
2020-02-28
-
srt
[8.2.2]--8.2.2构建一个机器学习流水线
大小：34.82KB
2020-02-28
971957201
18503067430