离线数据分析实战视频教程-大数据培训项目分享

课程概览
授课讲师
课程大纲
实验列表

大数据培训-离线分析项目实践

课程概览
授课讲师
课程大纲
实验列表

大数据培训中的离线分析项目实践是一个综合性的学习过程，旨在通过实际项目操作，使学生掌握大数据离线分析的核心技能和应用方法。

课程概览

项目实践内容
1. 数据收集与预处理
数据来源：模拟数据、开源数据集或企业实际业务数据。
数据收集：使用Flume、Kafka等工具从各种数据源中收集数据。
数据预处理：包括数据清洗（去除噪声、异常值等）、数据转换（格式统一、类型转换等）和数据集成（多源数据合并）。
2. 数据存储与管理
存储介质：HDFS、HBase等分布式存储系统。
数据分区与索引：根据业务需求对数据进行分区和索引，提高查询效率。
数据质量监控：建立数据质量监控机制，确保数据的准确性和完整性。
3. 数据分析与挖掘
分析工具：Hive、Spark SQL等SQL类工具，以及Spark MLlib等机器学习库。
分析模型：用户行为分析、点击流分析、关联规则挖掘、聚类分析、回归分析等。
分析结果可视化：使用Tableau、ECharts等工具将分析结果可视化展示。
4. 项目报告与总结
项目报告：编写详细的项目报告，包括项目背景、目标、实施过程、关键技术和难点、解决方案及最终成果等。
经验总结：对项目实践过程中遇到的问题和解决方案进行总结，提炼出可复用的经验和教训。
大数据培训-离线分析项目实践是一个综合性的学习过程，通过实际项目操作，学生可以深入理解大数据离线分析的核心技术和应用方法。未来，随着大数据技术的不断发展和应用场景的不断拓展，离线分析将在更多领域发挥重要作用。因此，持续学习和掌握新技术将是提升个人竞争力的关键。

授课讲师

伍老师

项目开发经验： 10年项目开发经验，曾领导团队成功研发CRM大型项目，展现项目管理和技术领导力。教学经验： 10年教学经验，作为总监级讲师，专注于培养技术人才。专业技能：精通华为大数据平台和数据挖掘，具备扎实的大数据专业知识。熟练Java软件开发，能够进行高效软件设计和开发。认证资格：持有HCIE-Big Data认证，华为认证体系中的最高级别，证明大数据领域的专业水平。技术专长：大数据技术与应用 Java软件开发华为技术认证与教学

课程大纲

第1章 Linux基础知识
第1节 Linux安装

视频名称:第一节.Linux安装.wmv
第2节 Linux命令行

视频名称:第二节.Linux命令行.wmv
第3节 Linux VIM编辑器
第4节 Linux用户管理
第5节 Linux安装Java环境
第6节 Linux安装MariaDB环境

第2章 Hadoop集群搭建
第1节 Hadoop介绍
第2节 Hadoop读写流程
第3节 Hadoop的前期准备
第4节 Hadoop安装
第5节 Hadoop测试
第6节 HDFS的shell命令

第3章 Maven的概述
第1节 Maven介绍
第2节 JDK安装
第3节 Maven安装
第4节 Idea集成Maven环境
第5节 Maven POM项目描述
第6节使用Java操作HDFS数据

第4章MapReduce分布式计算框架
第1节认识MapReduce
第2节 MapReduce工作流程
第3节 MapReduce词频统计
第4节 MapReduce编程示例
第5节 Yarn资源管理器

第5章Scala语言基础
第1节 Scala介绍
第2节 Scala安装
第3节 Scala基本语法
第4节 Idea集成Scala环境
第5节 Scala学习步骤

第6章Spark大数据处理框架
第1节 Spark介绍
第2节 Spark安装
第3节 Spark RDD常用操作
第4节 Spark词频统计程序
第5节 Spark词频统计编程开发
第6节 Spark词频统计本地调试
第7节 Spark SQL概述
第8节 Spark DataFrames操作
第9节 Spark读写Mysql操作

第7章 PythonWeb框架
第1节 PythonWeb前端UI框架
第2节 PythonWeb-Flask框架
第3节 PythonWeb连接Mysql
第4节饼图通过数据库返回数据
第5节柱图通过后台返回数据

第8章综合案例
第1节 Spark分析天猫的订单数据
第2节 Spark项目工程构建指标
第3节 PythonWeb前端页面实现
第4节 PythonWeb应用开发
第5节项目程序效果图

实验列表

实验名称Linux命令行
实验描述在本练习中，您将练习使用Linux的基本命令

实验名称Linux VIM编辑器
实验描述在本练习中，您将练习使用Linux VIM编辑器

实验名称Linux用户管理
实验描述本练习中，您将练习使用Linux用户管理

实验名称HDFS的shell命令
实验描述在本练习中，您将练习使用HDFS、Hadoop分布式文件系统。您将使用HDFS命令行工具来操纵HDFS中的文件

实验名称Java程序操作HDFS
实验描述在本练习中，您将练习使用Java程序操作HDFS

实验名称MapReduce词频统计
实验描述在本练习中，您将练习使用MapReduce执行单词统计。

实验名称MapReduce编程示例
实验描述在本练习中，您将练习使用MapReduce编程示例

实验名称Spark RDD常用操作
实验描述在本练习中，您将练习Spark RDD常用操作

实验名称Spark词频统计程序
实验描述在本练习中，您将练习Spark词频统计程序

实验名称Spark词频统计编程开发
实验描述在本练习中，您将练习使用Spark词频统计编程开发

实验名称 Spark词频统计本地调试
实验描述在本练习中，您将练习使用Spark词频统计本地调试

实验名称 Spark DataFrames操作
实验描述在本练习中，您将练习使用 Spark DataFrames操作

实验名称 Spark读写Mysql操作
实验描述在本练习中，您将练习使用Spark读写Mysql操作

实验名称Spark项目工程构建指标
实验描述在本练习中，您将练习使用Spark项目工程构建指标

节数	上课时间	星期一	星期二	星期三	星期四	星期五	星期六	星期天
第1节	08:00 - 08:40
第2节	09:00 - 09:40
第3节	10:00 - 10:40
第4节	11:00 - 11:40
第5节	14:00 - 14:40
第6节	15:00 - 15:40
第7节	16:00 - 16:40
第8节	17:00 - 17:40

天数	上课日期	上课时间	内容

大数据培训-离线分析项目实践

课程概览

授课讲师

课程大纲

实验列表

相关课件 更多

相关课程

相关课件更多