序号 课程主题 课程内容 实战案例
1 模块一、大数据概述与HADOOP生态圈 1、大数据时代、概念、应用及行业现状
2、Hadoop生态圈技术框架介绍
3、大数据学习方法及学习路线
4、大数据基础环境准备 实战演示：基于VMWare虚拟机安装CentOS 6.x的64位Linux操作系统和搭建准备环境
2 模块二、Hadoop原理与集群搭建 1、分布式架构、数据存储和计算概念
2、Hadoop 发展历程及企业应用
3、HDFS设计原理和核心概念详解
4、HDFS高可用实现原理
5、YARN基本框架原理和容错性 实战演示：Hadoop集群搭建、HDFS Shell常用管理命令操作、运行大数据经典程序WordCount。
3 模块三、MapReduce原理与编程实践 1、HDFS文件写入读取流程和数据完整性
2、YARN作业提交运行过程详解
3、YARN内置作业调度器详解
4、MapReduce原理、特性
5、MapReduce编程模型详解 实战演示：编程环境搭建、编写一个MapReduce程序
4 模块四、Hive离线数据处理 1、Hive配置、安装、常用操作
2、Hive支持的数据类型、内置常用函数、文件格式
3、Hive数据定义与操作
4、Hive SQL查询
5、自定义UDF函数
6、基于某号店用户数据进行分析演练 实战演示：针对电商商品推荐、广告点击推广和订单物流追踪进行分析统计，以便推荐分类。
5 模块五、基于Flume和Kafka数据采集系统 1、SQOOP大数据转换框架使用
2、Flume架构设计与应用场景
3、Flume内置组件详解
4、Kafka架构设计与应用场景
5、企业Kafka使用案例分享 实战演示：Flume实时收集日志数据到HDFS；Kafka配置部署及Kafka Producer API使用
6 模块六、大数据编程语言Scala基础 1、Scala语言介绍、环境搭建
2、变量、数据类型
3、函数定义、缩写、高阶函数和匿名函数
4、Scala集合（List、Map、Array、Tuple） 实战演示：函数式编程实例WordCount
7 模块七、Spark 程序设计与企业级应用案例 1、Spark运行模式介绍
Spark运行组件构成，spark运行模式（local、standalone、mesos/yarn等）
2、Spark开发环境构建
集成开发环境选择，亲手演示spark程序开发与调试，spark运行
3、常见transformation与action用法
介绍常见transformation与action使用方法，以及代码片段剖析
4、常见控制函数介绍
包括cache、broadcast、accumulator等 实战演示：电影受众分析系统包括：背景介绍，数据导入，数据分析，常见Spark transformation和action用法在线演示
8 模块八、Spark SQL程序设计与企业级应用案例 1、Spark SQL是什么和基本原理
2、Spark Dataframe与DataSet
3、Spark SQL程序设计
a、如何访问MySQL、HDFS等数据源，如何处理parquet格式数据
b、常用的DSL语法有哪些，如何使用
c、Spark SQL调优技巧 实战演示：阿里天池比赛之口碑商家客流量*测实战分析
9 模块九、Spark Streaming、程序设计及应用案例 1、Spark Streaming原理及应用场景
2、Spark Streaming程序设计
3、Spark优化经验
4、Spark集成Kafka实时数据统计分析
5、NoSQL的内存数据库Redis介绍使用 实战演示：仿天猫双11实时订单销售额统计分析
10 模块十、Spark MLlib及企业级案例 1、Spark MLlib简介
2、数据表示方式
3、MLlib中的聚类、分类和推荐算法
4、如何使用MLlib的算法
5、分布式海量NoSQL数据库HBase使用 实战演示：信用卡欺诈检测系统、
11 模块十一、Spark综合案例：简易电影推荐系统 1、背景介绍
2、什么是Lambda architecture
3、利用HDFS+Spark Core+MLlib+Redis构建批处理线
4、利用Kafka+Spark Streaming+Redis构建实时处理线
5、整合批处理和实时处理线 实战演示：简易电影推荐系统
12 模块十二、大数据技术回顾总结 1、大数据框架分类概述
2、企业大数据平台Cloudera的CDH和Hortonworks的HDP产品介绍说明
3、企业大数据采集架构演变和技术更替
4、互联网公司如何实现大数据平台架构分享
5、提问、探讨、总结
更多培训课程，学习资讯，课程优惠等学校信息，请进入 上海ACCA培训上海FRM培训上海CFA培训上海CMA培训 网站详细了解，免费咨询电话：400-998-6158
