大数据基础及实战

2021年1月25日-1月31日，每晚18:30-21:30线上直播

课程简介

实验课程注重代码实践，更注重落地应用

《大数据基础及实战》是一门重要的大数据技术入门课程，为学习者搭建起通向“大数据知识空间”的桥梁和纽带，为学生在大数据领域“深耕细作”奠定基础、指明方向。课程将系统讲授大数据的基本概念、大数据处理架构Hadoop、分布式文件系统HDFS、分布式并行编程模型MapReduce、基于内存的大数据处理架构Spark、大数据在互联网、生物医学和物流等各个领域的应用。在Hadoop、HDFS、MapReduce、Spark等重要章节，安排了实践操作，让学习者更好地学习和掌握大数据关键技术。

21小时课程直播+14小时实验录播

全案例教学，边讲边练，实战性强

大算力实验室免费使用1个月

赠送PPT和全部案例源代码

7天21小时直播+14小时实验录播

实验课程注重代码实践，更注重落地应用

第1天大数据概述及Hadoop基础
1月25日晚18:30-21:30	第一章大数据概述 1．1大数据时代 1．2大数据的概念 1．3大数据的影响 1．4 大数据的应用 1．5 大数据关键技术 1．6 大数据计算模式第二章大数据处理架构Hadoop 2．1 概述 2.1.1 Hadoop简介 2.1.2 Hadoop发展简史 2.1.3 Hadoop的特性 2.1.4 Hadoop的应用现状 2.1.5 Hadoop的版本	2．2 Hadoop生态系统 2．3 Hadoop的安装和使用 2.3.1 Hadoop安装之前的预备知识 2.3.2 Hadoop的安装与使用 2．4 Hadoop集群的部署与使用 2.4.1 集群节点类型 2.4.2 集群规模 2.4.3 集群硬件配置 2.4.4 集群网络拓扑 2.4.5 集群的建立与安装 2.4.6 集群基准测试 2.4.7介绍大数据实验中涉及到的Linux操作系统命令
1月25日晚18:30-21:30		实验一 Hadoop安装部署
第2天分布式文件系统HDFS
1月26日晚18:30-21:30	第三章分布式文件系统HDFS 3．1分布式文件系统 3.1.1 计算机集群结构 3.1.2 分布式文件系统的结构 3．2 HDFS简介 3．3 HDFS的相关概念 3.3.1 块 3.3.2 名称节点和数据节点 3.3.3 第二名称节点	3．4 HDFS体系结构 3.4.1 HDFS体系结构概述 3.4.2 HDFS命名空间管理 3.4.3 客户端 3.4.4 HDFS体系结构的局限性 3.4.5针对HDFS1.0的改进与提升3．5 HDFS存储原理 3.5.1 冗余数据保存 3.5.2 数据存取策略 3.5.3 数据错误与恢复
第3天分布式文件系统HDFS		实验案例
1月27日晚18:30-21:30	3. 6 HDFS的数据读写过程 3.6.1 读数据的过程 3.6.2 写数据的过程 3. 7 HDFS编程实践 3.7.1 HDFS常用命令 3.7.2 HDFS的Web界面 3.7.3 HDFS常用Java API及应用实例	实验二 HDFS：文件创建与写入
第4天 MapReduce
1月28日晚18:30-21:30	第四章 MapReduce 4．1概述 4.1.1 分布式并行编程 4.1.2 MapReduce模型简介 4.1.3 Map和Reduce函数	4．2 MapReduce体系结构 4．3 MapReduce工作流程 4.3.1 工作流程概述 4.3.2 MapReduce各个执行阶段 4.3.3 Shuffle过程详解
1月28日晚18:30-21:30	4．4实例分析：WordCount 4.4.1 WordCount程序任务 4.4.2 WordCount设计思路 4.4.3 MapReduce应用程序执行过程	4.4.4 一个WordCount执行过程的实例 4.5 MapReduce的具体应用 4. 6 MapReduce编程实践
第5天 MapReduce及Spark基础		实验案例
1月29日晚18:30-21:30	4.6.1 编写Map处理逻辑 4.6.2 编写Reduce处理逻辑 4.6.3 编写main方法 4.6.4 编译打包代码以及运行程序 4. 7 MapReduce高级开发第五章 Spark基础 5．1 Spark概述 5.1.1 Spark简介 5.1.2 Scala简介 5.1.3 Spark与Hadoop的比较 5．2 Spark生态系统	实验三 MapReduce编程：单词计数
第6天 Spark基础及应用		实验案例
1月30日晚18:30-21:30	5．3 Spark运行架构 5.3.1 基本概念 5.3.2 架构设计 5.3.3 Spark运行基本流程 5.3.4 RDD运行原理 5．4 Spark的部署和应用方式 5.4.1 Spark三种部署方式	实验四：Spark安装部署:On Yarn模式实验五 Spark编程工具：使用IDEA
第7天 Spark编程实践		实验案例
1月31日晚18:30-21:30	5.4.2 从Hadoop+Storm架构转向Spark架构 5.4.3 Hadoop和Spark的统一部署 5．5 Spark编程实践 5.5.1 启动Spark Shell 5.5.2 Spark RDD基本操作 5.5.3 Spark应用程序	实验六Spark Core：Scala单词计数