免费课程 在线实验 就业课程 会员免费课

/ 注册

新用户注册赠送7天免费会员

没有解决您的问题?扫描二维码加入博睿云交流群畅所欲言吧!
使用帮助

全部课程> Spark大数据技术与应用

Spark大数据技术与应用

¥ 199.00
¥ 400.00
  • 30课时(建议每周学习0小时)
  • 自主模式
1、新课优惠,立省201.00元
2、成为会员可免费学习本课程
会员限免

已有1295人报名学习

加入购物车
  • 课程概览
  • 授课讲师
  • 课程大纲
  • 实验列表
    Spark大数据技术与应用
  • 课程概览
  • 授课讲师
  • 课程大纲
  • 实验列表
加入购物车

腾科大数据实验室长期经验总结的结晶,名师名企打造大数据领域精品力作。本课程采用了以知识点和案例为导向的教学模式,按照解决实际任务的工作流程路线,逐步展开学习相关的理论知识点,推导生成可行的解决方案,最后落实在任务实现环节。深入浅出,有效降低spark技术学习门槛;资源全面,构建全方位一站式在线服务体系。

课程概览
随着大数据时代的到来,各行各业的工作者都迫切需要更好更快的数据计算与分析工具,Spark应运而生,受到业界广泛肯定和欢迎。本课程是定位于Spark大数据技术从入门到应用的简明系统教程,共6章,具体内容如下:
第1章Spark概述,第2章Scala基础,第3章RDD编程,第4章Spark编程进阶,第5章结构化数据文件处理Spark SQL,第6章实时计算框架Spark Streaming
   
授课讲师

伍伟邦

10年项目开发经验,5年教学经验。曾带领团队主导研发CRM大型项目,精通华为大数据平台与数据挖掘知识体系。

课程大纲
  • 第1章Spark概述
  •     第1节 Spark简介 试听
    视频名称:Spark概述.mp4
  •     第2节 Spark环境搭建 试听
    视频名称:spark环境搭建-1-SSH免密.mp4
  •     第3节 Spark的运行架构与原理
  • 第2章Scala基础
  •     第1节 Scala简介
  •     第2节 Scala的安装与运行
  •     第3节 数据类型、变量、常量
  •     第4节 表达式、数组
  •     第5节 函数
  •     第6节 案例:手机号码识别
  •     第7节 循环控制结构
  •     第8节 List、Set、Map、元组
  •     第9节 函数组合器
  •     第10节 案例:根据归属地信息分组
  •     第11节 Scala类
  •     第12节 伴生类和伴生对象
  •     第13节 模式匹配
  •     第14节 apply方法
  •     第15节 文件的读写
  • 第3章Spark编程
  •     第1节 RDD的创建
  •     第2节 转换操作和行动操作
  •     第3节 案例:查看成绩前五的学生
  •     第4节 案例:成绩为100分的学生ID
  •     第5节 键值对RDD
  •     第6节 案例:计算学生两门学科成绩的总分
  •     第7节 RDD聚合操作
  •     第8节 案例:求学生成绩平均值
  •     第9节 数据的读取与存储
  • 第4章Spark编程进阶
  •     第1节 RDD持久化
  •     第2节 RDD分区
  • 第5章结构化数据文件处理Spark SQL
  •     第1节 Spark SQL介绍
  •     第2节 RDD和DataFrame的区别
  •     第3节 DataFrame的创建
  •     第4节 DataFrame的保存
  •     第5节 DataFrame的常用操作
  •     第6节 将RDD转换成DataFrame
  •     第7节 MariaDB的安装
  •     第8节 使用SparkSQL读写数据库
  • 第6章实时计算框架Spark Streaming
  •     第1节 Spark Streaming概述
  •     第2节 DStream的工作机制
  •     第3节 编写SparkStreaming程序
  •     第4节 DStream读取文件流
  •     第5节 DStream转换操作
  •     第6节 DStream窗口操作
  •     第7节 DStream读取套接字流
  •     第8节 DStream输出操作
  •     第9节 DStream写入数据库
  •     第10节 案例:窗口操作实现用户命令的接收
实验列表
  • 实验名称Spark运行环境搭建
  • 实验描述Hadoop、Spark伪分布式环境的安装和配置。
  • 实验名称Scala的下载和安装
  • 实验描述下载Scala安装包,安装Scala,编写Scala程序helloworld并运行。
  • 实验名称常量和变量
  • 实验描述用Scala语言声明常量和变量,掌握Scala语言的常量和变量的使用。
  • 实验名称数组的基本操作
  • 实验描述用Scala语言声明数组,掌握数组的基本使用。
  • 实验名称函数的声明和使用
  • 实验描述用Scala语言声明函数,并掌握函数的基本使用。
  • 实验名称手机号码识别
  • 实验描述巩固前面学过的东西,用前面学过的内容编写Scala程序,编写函数识别号码,查看该号码是哪个运营商的号码。
  • 实验名称九九乘法表
  • 实验描述巩固前面学过的东西,用前面学过的内容编写Scala程序,利用循环输出一个九九乘法表。
  • 实验名称List的定义与使用
  • 实验描述巩固前面学过的东西,用前面学过的内容编写Scala程序,掌握List列表的定义与使用。
  • 实验名称使用函数组合器
  • 实验描述巩固前面学过的东西,用前面学过的内容编写Scala程序,掌握各种函数组合器的用法。
  • 实验名称根据归属地信息分组
  • 实验描述巩固前面学过的东西,用前面学过的内容编写Scala程序,根据归属地信息对手机号码段分组。
  • 实验名称类的定义与使用
  • 实验描述巩固前面学过的东西,用前面学过的内容编写Scala程序,编写一个类并使用它。
  • 实验名称伴生类和伴生对象
  • 实验描述巩固前面学过的东西,用前面学过的内容编写Scala程序,掌握并理解伴生类和伴生对象。
  • 实验名称模式匹配
  • 实验描述巩固前面学过的东西,用前面学过的内容编写Scala程序,掌握并理解模式匹配。
  • 实验名称apply方法的使用
  • 实验描述巩固前面学过的东西,用前面学过的内容编写Scala程序,掌握并理解apply方法。
  • 实验名称文件的读写
  • 实验描述巩固前面学过的东西,用前面学过的内容编写Scala程序,掌握并理解Scala语言对文件的读写。
  • 实验名称创建RDD
  • 实验描述巩固前面学过的东西,用前面学过的内容编写Scala程序,掌握RDD的创建。
  • 实验名称操作RDD
  • 实验描述巩固前面学过的东西,用前面学过的内容编写Scala程序,掌握RDD的操作。
  • 实验名称查看排名前五的学生
  • 实验描述巩固前面学过的东西,用前面学过的内容编写Scala程序,在数据中获取成绩排名前五的学生。
  • 实验名称查看满分的学生
  • 实验描述巩固前面学过的东西,用前面学过的内容编写Scala程序,在数据中获取至少有一门成绩为100分的学生。
  • 实验名称操作键值对RDD
  • 实验描述巩固前面学过的东西,用前面学过的内容编写Scala程序,掌握键值对RDD的操作。
  • 实验名称统计总分
  • 实验描述巩固前面学过的东西,用前面学过的内容编写Scala程序,统计学生所有成绩的总分。
  • 实验名称RDD聚合操作
  • 实验描述巩固前面学过的东西,用前面学过的内容编写Scala程序,掌握RDD的聚合操作。
  • 实验名称求学生成绩平均
  • 实验描述用前面学过的内容编写spark程序,处理学生成绩的数据信息,求学生成绩平均。
  • 实验名称数据的读写
  • 实验描述巩固前面学过的东西,用前面学过的内容编写Scala程序,掌握RDD数据的文件的读取和存储。
  • 实验名称RDD持久化
  • 实验描述在需要进行多次迭代的计算中,常常需要多次使用同一组数据,由于Spark RDD是惰性求值的,因此计算资源消耗会非常大,为了避免多次计算同一个RDD,可以在Spark中设置数据持久化。
  • 实验名称设置数据分区
  • 实验描述巩固前面学过的东西,用前面学过的内容编写Scala程序,理解并掌握设置数据分区的操作。
  • 实验名称创建DataFrame
  • 实验描述巩固前面学过的东西,用前面学过的内容编写Scala程序,掌握DataFrame的创建。
  • 实验名称保存DataFrame
  • 实验描述巩固前面学过的东西,用前面学过的内容编写Scala程序,掌握DataFrame的保存,将DataFrame的数据保存到本地文件。
  • 实验名称DataFrame的常用操作
  • 实验描述巩固前面学过的东西,用前面学过的内容编写Scala程序,掌握DataFrame的常用操作。
  • 实验名称RDD转DataFrame
  • 实验描述巩固前面学过的东西,用前面学过的内容编写Scala程序,掌握并理解从RDD转换的到DataFrame的方法和过程。
  • 实验名称MariaDB的安装
  • 实验描述安装MariaDB数据库,为后面的用SparkSQL读写数据库做准备。
  • 实验名称读取数据库数据
  • 实验描述巩固前面学过的东西,用前面学过的内容编写Scala程序,掌握SparkSQL对数据库数据的读写操作。
  • 实验名称创建StreamingContext对象
  • 实验描述巩固前面学过的东西,用前面学过的内容编写Scala程序,掌握并理解创建StreamingContext对象的方法和过程。
  • 实验名称读取文件流
  • 实验描述巩固前面学过的东西,用前面学过的内容编写Scala程序,掌握并理解DataFrame读取文件流的方法和操作。
  • 实验名称DStream转换操作
  • 实验描述巩固前面学过的东西,用前面学过的内容编写Scala程序,掌握DataFrame的转换操作。
  • 实验名称DStream窗口操作
  • 实验描述巩固前面学过的东西,用前面学过的内容编写Scala程序,掌握并理解DataFrame窗口操作。
  • 实验名称DStream读取套接字流
  • 实验描述巩固前面学过的东西,用前面学过的内容编写Scala程序,掌握并理解DStream读取套接字流的方法和操作。
  • 实验名称DStream输出操作
  • 实验描述巩固前面学过的东西,用前面学过的内容编写Scala程序,掌握并理解DataFrame输出操作。
  • 实验名称DStream写入数据库
  • 实验描述巩固前面学过的东西,用前面学过的内容编写Scala程序,掌握并理解DStream写入数据库操作的方法。
  • 实验名称窗口操作实现用户命令的接收
  • 实验描述使用DStream窗口操作,在另一个终端(用户端)发送数据,运行SparkDStream程序接收数据。
节数上课时间星期一 星期二星期三星期四 星期五星期六星期天
第1节08:00 - 08:40
第2节09:00 - 09:40
第3节10:00 - 10:40
第4节11:00 - 11:40
第5节14:00 - 14:40
第6节15:00 - 15:40
第7节16:00 - 16:40
第8节17:00 - 17:40
天数上课日期上课时间内容
相关课件 更多
  • pptx

    第1章 Spark概述

    大小:2.73MB

    2023-08-04

  • pptx

    第2章 Scala基础

    大小:1.48MB

    2023-08-04

  • pptx

    第3章 Spark编程基础

    大小:1.75MB

    2023-08-04

  • pptx

    第4章 Spark编程进阶

    大小:2.82MB

    2023-08-04

  • pptx

    第5章 Spark SQL——结构化数据文件处理

    大小:3.49MB

    2023-08-04

  • pptx

    第6章 Spark Streaming——实时计算框架

    大小:2.63MB

    2023-08-04


课程名称:
Spark大数据技术与应用
课程原价:
40000
课程现价:
199
支付方式:
支付宝支付
微信支付
确认支付
支付剩余时间: 15:00
视频试听