Python数据预处理

课程大纲

• 第1章数据预处理概述
•     第1节 什么是数据预处理
  视频名称:1.1.mp4
•     第2节 常见的数据问题与数据预处理的流程
  视频名称:1.2.mp4
•     第3节 常用的数据预处理库
•     第4节 开发工具与环境

• 第2章科学计算库---Numpy
•     第1节 数组对象
•     第2节 创建数组
•     第3节 访问数组元素
•     第4节 数组运算
•     第5节 数组操作
•     第6节 数组的转置

• 第3章pandas库基础
•     第1节 数据结构
•     第2节 索引操作
•     第3节 数据排序
•     第4节 统计计算与统计描述
•     第5节 描绘图表

• 第4章数据获取
•     第1节 从CSV和TXT文件读取数据
•     第2节 从EXCEL文件读取数据
•     第3节 从JSON文件读取数据
•     第4节 从HTML文件读取数据
•     第5节 从数据库读取数据
•     第6节 从Word文件读取数据

• 第5章数据清理
•     第1节 数据清理概述
•     第2节 缺失值的检测与处理
•     第3节 重复值的检测与处理
•     第4节 异常值的检测与处理
•     第5节 案例---成都某地区二手房数据

• 第6章数据集成、变换与规约
•     第1节 数据集成
•     第2节 数据变换
•     第3节 数据规约
•     第4节 案例---中国篮球运动员的基本信息分析

• 第7章数据清理工具---OpenRefine
•     第1节 OpenRefine介绍、下载与安装
•     第2节 OpenRefine的基本操作
•     第3节 OpenRefine的进阶操作
•     第4节 案例---多伦多市建筑许可数据

• 第8章实战演练---数据分析师岗位分析
•     第1节 知识精讲
•     第2节 分析目标与思路
•     第3节 数据收集
•     第4节 数据预处理
•     第5节 数据分析与展现

实验列表

• 实验名称Pandas库基础实验 - 数据预处理
• 实验描述本实验旨在帮助学生熟悉Pandas库的基础操作。学生将使用Pandas导入和处理学生成绩的数据，学习数据结构如Series和DataFrame，并掌握数据的索引操作和切片。实验中涵盖了数据排序和常用的统计计算，如均值、中位数、标准差等，并学习处理缺失值。最后，学生将利用Matplotlib库绘制学生成绩的柱状图，以可视化展示不同学科的平均成绩。实验报告中应包含实验目标、步骤、结果、代码解释和心得体会。

• 实验名称Numpy基础实验 - 数组操作和运算
• 实验描述本实验旨在让学生熟悉Numpy库的基础操作，包括创建一维和二维数组、数组属性与操作、数组运算，以及Numpy函数的使用。学生需要导入Numpy库，创建指定数组，并进行形状调整、运算和函数调用。最后，学生需输出实验结果和代码解释整理成实验报告。

• 实验名称Excel 数据获取与分析
• 实验描述本实验使用 Python 中的 Pandas 库，从给定的超市销售数据的 Excel（XLSX）文件中提取季度销售额数据，并进行基本的数据分析，如显示前几行数据和按分部统计总销售额。

• 实验名称数据清洗
• 实验描述现有一份保存了1000个值的number.xlsx文件。 按照要求操作上述文件中的数据。

• 实验名称数据集成、变换与规约
• 实验描述现有一张保存了学生信息的表格，按要求操作表格中的数据