在线
询问

免费
试听

线上线下
随时学

会员
订阅

顶部

全部课程> 大数据培训-Hadoop开发实战

大数据培训-Hadoop开发实战

  • 30课时(建议每周学习0小时)
  • 自主模式

已有1929人报名学习

  • 课程概览
  • 授课讲师
  • 课程大纲
  • 实验列表
    大数据培训-Hadoop开发实战
  • 课程概览
  • 授课讲师
  • 课程大纲
  • 实验列表

Hadoop大数据开发实战是一个广泛且深入的话题,涵盖了Hadoop的基本概念、生态系统、架构原理、集群环境搭建、应用开发以及性能优化等多个方面。

课程概览
通过本课程你将学习到以下内容。
第1章:介绍了大数据的由来及 Hadoop 的特性。
第2章:介绍了 Hadoop 集群搭建。
第3章~第5章:介绍了 HDFS 分布式文件系统、 MapReduce 分布式计算框架以及 ZooKeeper 分布式协调服务,带领同学认识 Hadoop 的核心功能。
第6章:介绍了 Hadoop 2.0的新特性。
第7章~第10章:介绍了 Hadoop 生态圈中的相关辅助系统,包括 Hive 、 HBase 分布式存储系统、 Flume 、 Sqoop 。

一、Hadoop概述
Hadoop是一个由Apache基金会所开发的分布式系统基础架构,它允许用户在不了解分布式底层细节的情况下,开发分布式程序。Hadoop的核心是HDFS(Hadoop Distributed File System,Hadoop分布式文件系统)和MapReduce(一种编程模型,用于大规模数据集(大于1TB)的并行运算)。Hadoop的生态系统非常庞大,包括了HDFS、MapReduce、YARN(Yet Another Resource Negotiator,另一种资源协调者)、HBase、Hive、Pig等多个组件。

二、Hadoop生态系统
Hadoop生态系统中的各个组件相互协作,共同提供了强大的大数据处理能力。
以下是Hadoop生态系统中几个核心组件的简介:
HDFS:Hadoop的分布式文件系统,具有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。
MapReduce:MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。MapReduce程序能够运行在由上千个商用机器组成的大型集群上,并以一种高度容错的方式,处理PB级的数据集。
YARN:YARN是Hadoop的下一代资源管理器,它负责整个集群的资源管理和调度。YARN将资源管理和作业调度/监控的功能分离,使得Hadoop集群可以运行更多类型的计算框架,如Spark、Flink等。
HBase:HBase是一个分布式的、面向列的开源数据库,它基于Google的Bigtable模型开发,建立在HDFS之上,提供了高可靠性、高性能、列存储、可伸缩、实时读写NoSQL数据库服务。
Hive:Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供SQL查询功能。Hive的本质是将SQL语句转换为MapReduce任务进行运行,非常适合数据仓库的统计分析。
授课讲师

伍老师

项目开发经验: 10年项目开发经验,曾领导团队成功研发CRM大型项目,展现项目管理和技术领导力。 教学经验: 10年教学经验,作为总监级讲师,专注于培养技术人才。 专业技能: 精通华为大数据平台和数据挖掘,具备扎实的大数据专业知识。 熟练Java软件开发,能够进行高效软件设计和开发。 认证资格: 持有HCIE-Big Data认证,华为认证体系中的最高级别,证明大数据领域的专业水平。 技术专长: 大数据技术与应用 Java软件开发 华为技术认证与教学

课程大纲
  • 第1章 初识Hadoop
  •     第1节 大数据简介
    视频名称:第1节大数据简介.wmv
  •     第2节 大数据技术核心需求
    视频名称:第2节大数据技术核心需求.wmv
  •     第3节 Hadoop简介
  •     第4节 离线数据分析流程介绍
  •     第5节 大数据学习流程
  • 第2章搭建Hadoop集群
  •     第1节 安装准备
  •     第2节 Linux基本命令
  •     第3节 Hadoop集群搭建
  •     第4节 Hadoop集群测试
  • 第3章HDFS分布式文件系统
  •     第1节 HDFS的简介
  •     第2节 HDFS的架构和原理
  •     第3节 HDFS的Shell命令
  •     第4节 Java程序操作HDFS
  • 第4章MapReduce分布式计算框架
  •     第1节 认识MapReduce
  •     第2节 MapReduce作业解析
  •     第3节 MapReduce工作原理
  •     第4节 Shuffle阶段
  • 第5章Zookeeper分布式协调服务
  •     第1节 认识Zookeeper
  •     第2节 Zookeeper的安装和常用命令
  •     第3节 Zookeeper客户端编程
  •     第4节 Zookeeper典型应用场景
  • 第6章Hadoop2.0新特性
  •     第1节 Hadoop2.0新特性
  •     第2节 Yarn资源管理框架
  •     第3节 Hadoop的HA模式
  • 第7章Hive
  •     第1节 数据仓库简介
  •     第2节 认识Hive
  •     第3节 Hive安装
  •     第4节 Hive数据类型
  •     第5节 Hive数据库操作
  •     第6节 Hive表
  •     第7节 Hive表的查询
  •     第8节 Hive函数
  •     第9节 Hive 案例分析
  • 第8章HBase分布式存储系统
  •     第1节 认识HBase
  •     第2节 HBase表设计
  •     第3节 HBase安装
  •     第4节 HBase Shell常用操作
  • 第9章 Flume
  •     第1节 认识Flume
  •     第2节 Flume基本组件
  •     第3节 Flume安装
  •     第4节 Flume数据流模型
  •     第5节 采集案例
  • 第10章Sqoop
  •     第1节 认识Sqoop
  •     第2节 Sqoop安装
  •     第3节 Sqoop命令
  •     第4节 Sqoop数据导入
  •     第5节 Sqoop数据导出
  •     第6节 Sqoop job
实验列表
  • 实验名称Linux基本命令
  • 实验描述在本练习中,您将练习使用Linux的基本命令
  • 实验名称HDFS基本命令
  • 实验描述在本练习中,您将练习使用HDFS、Hadoop分布式文件系统。您将使用HDFS命令行工具来操纵HDFS中的文件
  • 实验名称Java程序操作HDFS
  • 实验描述在本练习中,您将练习使用Java程序操作HDFS
  • 实验名称MapReduce执行单词统计
  • 实验描述在本练习中,您将练习使用MapReduce执行单词统计。
  • 实验名称Zookeeper基础命令
  • 实验描述在本练习中,您将练习使用Zookeeper基础命令
  • 实验名称Zookeeper客户端编程
  • 实验描述在本练习中,您将练习使用idea操作zookeeper
  • 实验名称Hive数据库操作
  • 实验描述在本练习中,您将练习使用Hive操作数据库
  • 实验名称Hive表操作
  • 实验描述在本练习中,您将练习使用Hive操作Hive表
  • 实验名称Hive表查询
  • 实验描述在本练习中,您将练习使用Hive操作Hive表查询
  • 实验名称Hive函数
  • 实验描述在本练习中,您将练习使用Hive操作Hive函数
  • 实验名称Hive案例
  • 实验描述在本练习中,您将练习使用idea操作hive
  • 实验名称Hbase的命令操作
  • 实验描述在本练习中,您将练习使用Hbase命令行操作Hbase
  • 实验名称Flume采集目录数据
  • 实验描述在本练习中,您将练习使用Flume采集目录数据,数据保存到hdfs
  • 实验名称Sqoop命令
  • 实验描述在本练习中,您将练习使用Sqoop命令
  • 实验名称Sqoop数据导入
  • 实验描述在本练习中,您将练习使用选择mysql中数据库的表,导入相对应的hdfs的表中
  • 实验名称Sqoop数据导出
  • 实验描述在本练习中,您将练习使用Sqoop的hdfs数据导出 mysql
  • 实验名称Sqoop Job操作
  • 实验描述在本练习中,您将练习使用Sqoop Job
节数上课时间星期一 星期二星期三星期四 星期五星期六星期天
第1节08:00 - 08:40
第2节09:00 - 09:40
第3节10:00 - 10:40
第4节11:00 - 11:40
第5节14:00 - 14:40
第6节15:00 - 15:40
第7节16:00 - 16:40
第8节17:00 - 17:40
天数上课日期上课时间内容
相关课件 更多
  • pptx

    第10章 Sqoop

    大小:487.55KB

    2023-08-04

  • pptx

    第9章 Flume

    大小:316.23KB

    2023-08-04

  • pptx

    第8章 HBase分布式存储系统

    大小:538.4KB

    2023-08-04

  • pptx

    第7章 Hive

    大小:1.21MB

    2023-08-04

  • pptx

    第6章 Hadoop2.0新特性

    大小:1.1MB

    2023-08-04

  • pptx

    第5章 Zookeeper分布式协调服务

    大小:366.55KB

    2023-08-04


课程名称:
大数据培训-Hadoop开发实战
课程现价:
0
支付方式:
支付宝支付
微信支付
确认支付
支付剩余时间: 15:00
视频试听
购买课程
当前课程仅限高级会员学习!
成为会员
取消