本书是高等学校智能财经系列教材之一。
本书围绕大数据分析全链路,全面覆盖大数据采集、预处理、存储、计算、分析挖掘及可视化六大核心环节,构建了完整的大数据分析知识体系。本书主要内容有:大数据分析概述、大数据采集与预处理、大数据存储、大数据计算、大数据分析的算法、大数据可视化、基于朴素贝叶斯算法的“天问一号”事件用户评论情感大数据分析以及基于Hive的超市零售大数据分析。本书添加了技术实现细节,配套相关实验案例与实操代码(含文本预处理及情感分析、HBase环境搭建、MapReduce与Spark实操等),并通过二维码链接了原始数据、代码结果呈现等,有利于学生反复练习。
本书兼顾理论传授与实操培养,作为大数据分析普及性教材,满足不同基础学生入门与提升需求,可作为高等学校不同专业“大数据分析”课程教材。
- 前辅文
- 第一章 大数据分析概述
- 学习目标
- 第一节 大数据的概念诠释
- 第二节 大数据的数据类型
- 第三节 大数据分析的流程及技术
- 第四节 大数据分析面临的挑战
- 第五节 Python大数据分析的开发环境
- 复习思考题
- 第二章 大数据采集与预处理
- 学习目标
- 第一节 大数据的采集途径
- 第二节 大数据的采集技术
- 第三节 数据预处理
- 第四节 基于Python的文本数据预处理
- 第五节 大数据文本预处理应用案例
- 复习思考题
- 第三章 大数据存储
- 学习目标
- 第一节 数据存储概述
- 第二节 分布式文件系统
- 第三节 数据库存储
- 复习思考题
- 第四章 大数据计算
- 学习目标
- 第一节 大数据计算概述
- 第二节 MapReduce——大数据离线计算框架
- 第三节 Spark——大数据统一计算引擎
- 复习思考题
- 第五章 大数据分析的算法
- 学习目标
- 第一节 大数据分析算法概述
- 第二节 大数据的统计分析方法
- 第三节 关联规则
- 第四节 聚类分析
- 第五节 分类分析
- 复习思考题
- 第六章 大数据可视化
- 学习目标
- 第一节 大数据可视化概述
- 第二节 Matplotlib库及函数
- 第三节 常见的图形绘制
- 第四节 pyecharts可视化模块
- 第五节 可视化应用案例
- 复习思考题
- 第七章 基于朴素贝叶斯算法的“天问一号”事件用户评论情感大数据分析
- 学习目标
- 一、案例背景
- 二、案例流程
- 三、数据探索
- 四、文本预处理
- 五、绘制词云图
- 六、模型构建与训练
- 七、模型评估
- 复习思考题
- 第八章 基于Hive的超市零售大数据分析
- 学习目标
- 一、Hive的安装
- 二、案例背景
- 三、数据准备
- 四、实验环境准备
- 五、基于Hive的数据分析
- 复习思考题