首页 找课程 找学校 教育新闻 培训问答 课程大全

北京千锋教育IT培训

010-64707530 免费试听 在线客服

您的位置: 首页 > 北京培训 > 北京千锋教育IT培训 > 数据库工程师培训 > 北京大数据开发培训机构哪家好

北京大数据开发培训机构哪家好

班制:

其它

[ 开班提醒 ]
上课地址:

千锋教育

活动倒计时
11: 59: 59
马上抢

课程介绍

为什么你要学习大数据

大数据作为中国官方重点扶持的战略性新兴产业,已逐步从概念走向落地“大数据”和“虚拟化”两大热门领域,得到了广泛关注和重视。90%企业都在使用大数据,大数据开发人员的薪资待遇也水涨船高。统计数据显示,大数据开发工程师的就业薪资在5000-27000之间,有工作经验者更高。你选择了大数据就意味着高薪和广阔的未来。

千锋大数据开发靠什么引领群雄?

很多人想要站在大数据时代的风口却无从下手,千锋作为中国IT职业教育的领 先品牌顺势而为重磅推出大数据课程,采用“技术+管理”集合的方式,让你快速掌握大数据生态体系的各个模块的功能和开发技术,成为当下企业紧缺的“复合型”研发人才。

大数据相关技术方向

1. Hadoop大数据开发方向;

2. 大数据运维& 云计算方向;

3. 数据挖掘、数据分析&机器学**方向。

三个方向中,大数据开发是基础。以Hadoop开发工程师为例,Hadoop入门薪资已经达到了 8K 以上,工作1年可达到 1.2W 以上,具有2-3年工作经验的hadoop人才年薪可以达到 30万—50万,一般需要大数据处理的公司基本上都是大公司,所以学**大数据专业也是进大公司的捷径!

精通任何方向之一者,均会“ 前(钱)”途无量。

大数据相关的技术有:Hadoop、Linux、Oracle、 Jquery、 Spark、 Storm、Servlet、Python、Nginx、Memcached、Matlab、Scala、Maven等。

课程介绍

Spark生态体系
01Spark简介
- 什么是Spark
- Spark大数据处理框架
- Spark的特点与应用场景
- Spark SQL原理和实践
- Spark Streaming原理和实践
- GraphX SparkR入门
- Spark的监控和调优
02Spark部署和运行
- 部署准备与下*
- Spark生态和安装部署
- Local YARN模式部署
- Local模式运行
- Spark Standalone HA安装
- YARN模式运行Spark
- Spark应用程序部署工具spark-submit
03Spark程序开发
- 启动Spark Shell
- 加载text文件
- RDD操作及其应用
- RDD缓存
- 构建Eclipse开发环境
- 构建IntelliJ IDEA开发环境
- 创建SparkContext对象
- 编写编译并提交应用程序
04Spark编程模型
- RDD特征与依赖
- 集合(数组)创建RDD
- 存储创建RDD
- RDD转换 执行 控制操作
- 广播变量
- 累加器
05作业执行解析
- Spark组件
- RDD视图与DAG图
- 基于Standalone模式的Spark架构
- 基于YARN模式的Spark架构
- 作业事件流和调度分析
- 构建应用程序运行时环境
- 应用程序转换成DAG
06Spark SQL与DataFrame
- Spark SQL架构特性
- DataFrame和RDD的区别
- 创建操作DataFrame
- RDD转化为DataFrame
- 加载保存操作与Hive表
- Parquet文件JSON数据集
- 分布式的SQL Engine
- 性能调优 数据类型
07深入Spark Streaming
- Spark Streaming工作原理
- DStream编程模型
- Input DStream
- DStream转换 状态 输出
- 优化运行时间及内存使用
- 文件输入源
- 基于Receiver的输入源
- 输出操作
08Spark MLlib与机器学习
- 机器学习分类级算法
- Spark MLlib库
- MLlib数据类型
- MLlib的算法库与实例
- ML库主要概念
- 算法库与实例
09GraphX与SparkR
- Spark GraphX架构
- GraphX编程与常用图算法
- GraphX应用场景
- SparkR的工作原理
- R语言与其他语言的通信
- SparkR的运行与应用
- R的DataFrame操作方法
- SparkR的DataFrame
10spark项目实战
- 大数据分析系统
- 系统资源分析平台
- 在Spark上训练LR模型
- 获取二级邻居关系图
11scala编程
- scala编程介绍
- Scala基本语法
- Scala开发环境搭建
- Scala开发Spark应用程序
12Python编程
- Python编程介绍
- Python的基本语法
- Python开发环境搭建
- Pyhton开发Spark应用程序
Hadoop生态体系
01Hadoop起源与安装
- 大数据概论
- Google与Hadoop模块
- Hadoop生态系统
- Hadoop常用项目介绍
- Hadoop环境安装配置
- Hadoop安装模式
- Hadoop配置文件
02MapReduce**入门
- WordCount准备开发环境
- MapReduce编程接口体系结构
- MapReduce通信**
- 导入Hadoop的JAR文件
- MapReduce代码的实现
- 打包、部署和运行
- 打包成JAR文件
03Hadoop分布式文件系统
- 认识HDFS及其HDFS架构
- Hadoop的RPC机制
- HDFS的HA机制
- HDFS的Federation机制
- Hadoop文件系统的访问
- JavaAPI接口与维护HDFS
- HDFS权限管理
04Hadoop文件I/O详解
- Hadoop文件的数据结构
- HDFS数据完整性
- 文件序列化
- Hadoop的Writable类型
- Hadoop支持的压缩格式
- Hadoop中编码器和解码器
- gzip、LZO和Snappy比较
05MapReduce工作原理
- MapReduce函数式编程概念
- MapReduce框架结构
- MapReduce运行原理
- Shuffle阶段和Sort阶段
- 任务的执行与作业调度器
- 自定义Hadoop调度器
- YARN架构及其工作流程
06MapReduce编程开发
- WordCount案例分析
- 输入格式与输出格式
- 压缩格式与MapReduce优化
- 辅助类与Streaming接口
- MapReduce二次排序
- MapReduce中的Join算法
- 从MySQL读写数据
- Hadoop系统调优
07Hive数据仓库工具
- Hive工作原理、类型及特点
- Hive操作及Hive复合类型
- Hive的JOIN详解
- Hive优化策略
- Hive内置操作符与函数
- Hive用户自定义函数接口
- Hive的权限控制
08开源数据库HBase
- HBase的特点
- HBase访问接口
- HBase存储结构与格式
- HBase设计
- 关键算法和流程
- HBase的Shell操作
- HBase客户端
09Sqoop与Oozie
- 安装部署Sqoop
- Sqoop数据迁移
- Sqoop使用案例
- Oozie简介
- Oozie与Hive
- Azkaban工作流



第二阶段、云计算体系
课程名称 重点内容 目标
一、Docker 课程
1) 基本介绍
2) vm docker 对比
3) docker基本架构介绍
4) unfs cgroup namespace
5) 进程虚拟化 轻量级虚拟化
6) docker 安装
7) docker 镜像制作
8) docker 常用命令
9) docker 镜像迁移
10) docker pipework【i.openvswitch】
11) docker weave
Docker 是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的 Linux 机器上,也可以实现虚拟化。容器是完全使用沙箱机制,相互之间不会有任何接口(类似 iPhone 的 app)。几乎没有性能开销,可以很容易地在机器和数据中心中运行。重要的是,他们不依赖于任何语言、框架包括系统。
二、虚拟化KVM
1) 虚拟化介绍,虚拟化适用场景等等
2) Qemu Libvirt & KVM
3) 安装KVM, Qemu, Libvirt
4) QEMU-KVM: 安装第1个能上网的虚拟机
5) Kvm虚拟机 nat,网桥基本原理
6) kvm虚拟机克隆
7) kvm虚拟机vnc配置
8) kvm虚拟机扩展磁盘空间
9) Kvm快照
10) Kvm 迁移
11) Java,python,c语言编程控制kvm
12) 构建自己的虚拟云平台
云计算平台,比如openstack,cloudstack 底层采用的技术都是虚拟化方案,现在以kvm市场占有率高,我们要深入的去学习这些原生的虚拟化,才能深入了解和架构openstack这样的云计算的平台,也才更有能力去开发自己的云计算平台
三、云平台OpenStack
1) openstack介绍和模块基本原理分析
2) openstack多节点安装部署【a.采用centos6.x系统】
3) Keystone基本原理
4) glance
5) Cinder
6) Swift
7) Neutron
8) Openstack api 二次开发
在实战中学习,课程绝不是纸上谈兵,经过搭建和调试一个真实的openstack平台,深入浅出, 详细讲解openstack的各个组成模块:keystone, glance, nova, cinder, neutron, horizen。课程中遇到的各种实际问题,不仅演示了如何解决,更是要教会大家学会去找到解决问题的方法。难点问题全面讲解。在云计算的各种技术当中,网络部分是zui难,也是zui复杂多样的。课程中针对虚拟网络进行了详细的讲解,包括基本原理,以及实际环境搭建,问题的跟踪和解决。讲师拥有丰富的移动集团工作经验,负责云平台的各方面工作,讲课内容完全贴近企业需求,绝不纸上谈兵。

大数据10_wx.jpg

师资介绍


  • 李老师

    主讲课程:大数据

    简介: 原新浪&&微博的架构师,拥有5年的大数据 研发经验,独自架构并且研发基于Spark的个...详情>>

    预约名师
  • 李老师

    主讲课程:大数据

    简介: 北航大数据技术及应用专业在职研究生在读。 从事企业软件研发工作5年,从事大数据讲师2年,有丰富的 ...详情>>

    预约名师
  • 陈老师

    主讲课程:大数据

    简介: 10余年的软件行业从业经验,有着丰富的 软件设计、管理和开发经验。曾参与研发过餐饮连锁 管...详情>>

    预约名师
  • 邢老师

    主讲课程:java

    简介: 千锋JAVA讲师,多年开发经验,曾参与大型旅游 网站、全国ETC联网等项目。擅长JAVA、Androi...详情>>



我们这里汇集了北京众多的优秀课程和各个方面的培训学校,为各位提供全面的咨询报名服务,欢迎点击访问:北京大数据开发课程汇总

课程定制与咨询:010-64707530 QQ:264567689  金老师

倒计时
11: 59: 19
课程热线:010-64707530 | 客服时间:9:00-22:00(其他时间请在线预约报名或留言)
机构介绍
千锋教育隶属于北京千锋互联科技有限公司,一直秉承“用良心做教育”的理念,致力于打造IT教育全产业链人才服务平台,公司总部位于北京,目前已在深圳、上海、郑州、广州、大连、武汉、成都、西安、杭州、青岛、重庆、长沙、哈尔滨成立了分公司,全国14个城市年培养优质人才20000余人,同期在校学员5000余人,合作院校超500所,合作企业超10000家,每年有数十万名学员受益于千锋教育组织的技术研讨会、技术培训课...【详情】
相关课程
其他城市
相关机构

申请试听名额

已有10254人申请免费试听

01电话咨询 | 010-64707530

QQ:2645567689
加盟合作:0755-83654572