首页 找课程 找学校 教育新闻 培训问答 课程大全

北京千锋教育IT培训

010-64707530 免费试听 在线客服

您的位置: 首页 > 北京培训 > 北京千锋教育IT培训 > 数据库工程师培训 > 北京大数据开发培训班招生

北京大数据开发培训班招生

班制:

其它

[ 开班提醒 ]
上课地址:

千锋教育(沙河校区)

活动倒计时
11: 59: 59
马上抢

课程介绍

为什么你要学习大数据

大数据作为中国官方重点扶持的战略性新兴产业,已逐步从概念走向落地“大数据”和“虚拟化”两大热门领域,得到了广泛关注和重视。90%企业都在使用大数据,大数据开发人员的薪资待遇也水涨船高。统计数据显示,大数据开发工程师的就业薪资在5000-27000之间,有工作经验者更高。你选择了大数据就意味着高薪和广阔的未来。

千锋大数据开发靠什么引领群雄?

很多人想要站在大数据时代的风口却无从下手,千锋作为中国IT职业教育的领 先品牌顺势而为重磅推出大数据课程,采用“技术+管理”集合的方式,让你快速掌握大数据生态体系的各个模块的功能和开发技术,成为当下企业紧缺的“复合型”研发人才。

大数据相关技术方向

1. Hadoop大数据开发方向;

2. 大数据运维& 云计算方向;

3. 数据挖掘、数据分析&机器学**方向。

三个方向中,大数据开发是基础。以Hadoop开发工程师为例,Hadoop入门薪资已经达到了 8K 以上,工作1年可达到 1.2W 以上,具有2-3年工作经验的hadoop人才年薪可以达到 30万—50万,一般需要大数据处理的公司基本上都是大公司,所以学**大数据专业也是进大公司的捷径!

精通任何方向之一者,均会“ 前(钱)”途无量。

大数据相关的技术有:Hadoop、Linux、Oracle、 Jquery、 Spark、 Storm、Servlet、Python、Nginx、Memcached、Matlab、Scala、Maven等。

课程介绍

JavaWeb和数据库
01数据库
- Mysql数据库
- JDBC开发
- 连接池和DBUtils
- Oracle介绍
- MongoDB数据库介绍
- apache服务器/Nginx服务器
- Memcached内存对象缓存系统
02JavaWeb开发核心
- XML
- HTTP及Tomcat
- Servlet工作原理解析
- 深入理解Session与Cookie
- Tomcat的系统架构与设计模式
- JSP语法与内置对象
- JDBC技术
- 大浏览量系统的静态化架构设计
03JavaWeb开发内幕
- 深入理解Web请求过程
- Java I/O的工作机制
- Java Web中文编码
- Javac编译原理
- class文件结构
- ClassLoader工作机制
- JVM体系结构与工作方式
- JVM内存管理
Linux基础
01Linux安装与配置
- Linux常见版本及VMware
- 安装Linux至硬盘及虚拟机安装Linux系统
- 虚拟机网络配置(IP地址、主机名、防火墙)
- 超级用户root
- 关于硬件驱动程序
- 进阶:配置Grub
- CSS预处理器LESS框架使用
- CSS组件框架编写
02系统管理与目录管理
- Shell基本命令
- 使用命令行补全和通配符
- find命令、locate命令
- 查找特定程序:whereis
- Linux文件系统的架构
- 移动、复制和删除
- 文件和目录的权限
- 文件类型与输入输出
03用户与用户组管理
- 软件包管理
- 磁盘基本管理命令(df、du、fdisk、mount)
- 高级硬盘管理RAID和LVM
- 进阶:备份你的工作和系统
- 用户与用户组管理
- 内存使用监控命令(t o p、free等)
- 软件安装方式(rpm、tar、yum)
- 进程管理
04Shell编程
- Shell脚本编程概述
- 正则表达式
- 字符集和单词、字符类
- Shell脚本编程
- 脚本执行命令和控制语句
- Shell定制
- 个性化设置:修改.bashrc文件
- Shell脚本调试
05服务器配置
- 系统引导
- 管理守护进程
- **xinetd启动SSH服务
- 配置inetd
- Apache基础
- 设置Apache服务器
- PHP基础
- 配置DHCP服务器
06Vi编辑器与Emacs编辑器
- vi中的常用命令
- vi中的字符与文件操作
- vi中的窗口操作
- emacs概述
- emacs文本编辑
- emacs缓冲区和窗口
- emacs的扩展工具
第三阶段、大数据计算框架体系
课程名称 重点内容 目标
一、Python课程
1) 介绍Python以及特点
2) Python的安装
3) Python基本操作(注释、逻辑、字符串使用等)
4) Python数据结构(元组、列表、字典)
5) 使用Python进行批量重命名小例子
6) Python常见内建函数
7) 更多Python函数及使用常见技巧
8) 异常
9) Python函数的参数讲解
10) Python模块的导入
11) Python中的类与继承
12) 网络爬虫案例
13) 数据库连接,以及pip安装模块
14) Mongodb基础入门
15) 讲解如何连接mongodb
16) Python的机器学习案例
Python语言的部分大家在学习后可以完全掌握Python的精髓,并经过这部分的学习给大家打好一个基础,在其他计算框架中多语言的使用上都会涉及到Python这门流行的语言。同时课程里会经过机器学习的案例让大家学习Python的同时去更好的理解机器学习
二、Scala课程
1) scala解释器、变量、常用数据类型等
2) scala的条件表达式、输入输出、循环等控制结构
3) scala的函数、默认参数、变长参数等
4) scala的数组、变长数组、多维数组等
5) scala的映射、元组等操作
6) scala的类,包括bean属性、辅助构造器、主构造器等
7) scala的对象、单例对象、伴生对象、扩展类、apply方法等
8) scala的包、引入、继承等概念
9) scala的特质
10) scala的操作符
11) scala的高阶函数
12) scala的集合
13) scala数据库连接
Scala课程 在此部分内,将更注重scala的各种语言规则与简单直接的应用,而不在于其是如何具体实现,经过学习本课程能具备初步的Scala语言实际编程能力。本部分课程也可以视为大家下面学习Spark课程的铺垫,供大家扫盲熟悉Scala,提前进行热身运动。
三、Spark大数据处理
1) 1) Spark介绍
2) Spark应用场景
3) Spark和Hadoop MR、Storm的比较和优势
4) RDD
5) Transformation
6) Action
7) Spark计算PageRank
8) Lineage
9) Spark模型简介
10) Spark缓存策略和容错处理
11) 宽依赖与窄依赖
12) Spark配置讲解
13) Spark集群搭建
14) 集群搭建常见问题解决
15) Spark原理核心组件和常用RDD
16) 数据本地性
17) 任务调度
18) DAGScheduler
19) TaskScheduler
20) Spark源码解读
21) 性能调优
22) Spark和Hadoop2.x整合:Spark on Yarn原理
Spark大数据处理 本部分内容全面涵盖了Spark生态系统的概述及其编程模型,深入内核的研究,Spark on Yarn,Spark Streaming流式计算原理与实践,Spark SQL,Spark的多语言编程以及SparkR的原理和运行。不仅面向项目开发人员,甚至对于研究Spark的学员,此部分都是非常有学习指引意义的课程。
四、Spark—Streaming大数据处理
1) Spark Streaming:数据源和DStream
2) 无状态transformation与有状态transformation
3) Streaming Window的操作
4) sparksql 编程实战
5) spark的多语言操作
6) spark新版本的新特性
Spark—Streaming是流式计算里zui有特点的框架,便于机器学习上模型的使用,当下公司Spark默认就是Streaming,可见它的重要性,对于微批处理的流式计算,框架简介,Dstream的模型使用
五、Spark—Mlib机器学习
1) 介绍

a) Spark MLlib组件介绍

b) 基本数据类型

2) 回归算法

c) 广义线性模型

d) 逻辑回归

3) 分类算法

e) 朴素贝叶斯

f) 决策树

g) 随机森林

4) 第四章 推荐系统
5) 第五章 聚类
6) spark新版本的新特性

h) Kmeans

i) Sparse kmeans

j) Kmeans

k) Kmeans II

l) Streaming kmeans

m) Gaussian Mixture Model

前面课程大家已经掌握第1代机器学习工具R,而后又学习了第二代机器学习工具Mahout,这里大家将会学习第三代机器学习工具MLlib,大家不仅将会了解MLlib的组件及其调用,而且会经过Spark的项目深入了解MLlib的现实使用。经过此部分大家也可以看出课程不仅着眼于现在,更是着眼于大家的未来在行业中的发展。
六、Spark—GraphX 图计算
a) 二分图
b) 概述
c) 构造图
d) 属性图
e) PageRank
这节课程是 Apache的开源的图计算框架Giraph,以及卡内基梅隆大学主导的GraphLab等,当然还有本文的主角——基于Spark的GraphX
七、基于Spark的推荐系统(某一线公司真实的项目)
项目技术架构体系:

a) 实时流处理 Kafka,Spark Streaming

b) 分布式运算 Hadoop,Spark

c) 数据库 Hbase,Redis

d) 机器学习 Spark Mllib

e) 前台web展示数据 Struts2,echart

f) 分布式平台 Hadoop,Spark

g) 数据清洗 Hive

h) 数据分析 R RStudio

i) 推荐服务 Dubbox

j) 规则过滤 Drools

k) 机器学习 MLlib

个性化推荐是根据用户的兴趣特点和购买行为,向用户推荐用户感兴趣的信息和商品。随着电子商务规模的不断扩大,商品个数和种类**增长,顾客需要花费大量的时间才能找到自己想买的商品。这种浏览大量无关的信息和产品过程无疑会使淹没在信息过载问题中的消费者不断流失。为了解决这些问题,个性化推荐系统应运而生。个性化推荐系统是建立在海量数据挖掘基础上的一种高级商务智能平台,以帮助电子商务网站为其顾客购物提供完全个性化的决策支持和信息服务
八、Kafka课程
1) kafka是什么
2) kafka体系结构
3) kafka配置详解
4) kafka的安装
5) kafka的存储策略
6) kafka分区特点
7) kafka的发布与订阅
8) zookeeper协调管理
9) java编程操作kafka
10) scala编程操作kafka
11) flume 和kafka 的整合
12) Kafka 和storm 的整合
Kafka是当下流行的队列,可以说是从数据采集到大数据计算承上启下的重要环节,大家在此部分将会详细学习它的架构,kafka在大家大数据的项目中几乎都会涉及到。
九、Strom实时数据处理
项目技术架构体系:

1) Storm的基本概念

2) Storm的应用场景

3) Storm和Hadoop的对比

4) Storm集群的安装的linux环境准备

5) zookeeper集群搭建

6) Storm集群搭建

7) Storm配置文件配置项讲解

8) 集群搭建常见问题解决

9) Storm常用组件和编程API:Topology、 Spout、Bolt

10) Storm分组策略(stream groupings)

11) 使用Strom开发一个WordCount例子

12) Storm程序本地模式debug、Storm程序远程debug

13) Storm事物处理

14) Storm消息可靠性及容错原理

15) Storm结合消息队列Kafka:消息队列基本概念(Producer、Consumer、Topic、Broker等)、消息队列Kafka使用场景、Storm结合Kafka编程API

16) Storm Trident概念

17) Trident state 原理

18) Trident开发实例

19) Storm DRPC(分布式远程调用)介绍

20) Storm DRPC实战讲解

21) Storm和Hadoop 2.x的整合:Storm on Yarn Storm开发实战: Kafka Storm Hbase redis项目实战,以及多个案例

本部分学习过后,大家将全面掌握Storm内部机制和原理,经过大量项目实战,让大家拥有完整项目开发思路和架构设计,掌握从数据采集到实时计算到数据存储再到前台展示,所有工作一个人搞定!譬如可以一个人搞定淘宝双11大屏幕项目!不光从项目的开发的层次去实现,并可以从架构的层次站在架构师的角度去完成一个项目。
十、Strom项目实战
项目技术架构体系:Storm hbase kafka flume echarts

a) flume实时采集日志

b) kafka缓冲队列

c) storm实时处理

d) Hbase dao存储处理结果

e) 前端Web实时展示报表

中国移动基站**平台一个市级移动公司,每天的产生海量话务数据(一线城市更高),经过大数实时分析,监控每个基站的掉话率,基站通话总数,基站掉话总数,基站告警,3g/4g上网流量实时监控。对以上维度进行实时分析以达到对基站工作情况的监控。

大数据11_wx.jpg

校区环境:

千锋教育


欢迎您访问到我们网站如果想了解更多北京软件系统类别课程请访问:北京大数据开发培训课程汇总

课程定制与咨询:010-64707530 QQ:264567689  金老师

倒计时
11: 59: 19
课程热线:010-64707530 | 客服时间:9:00-22:00(其他时间请在线预约报名或留言)
机构介绍
千锋教育隶属于北京千锋互联科技有限公司,一直秉承“用良心做教育”的理念,致力于打造IT教育全产业链人才服务平台,公司总部位于北京,目前已在深圳、上海、郑州、广州、大连、武汉、成都、西安、杭州、青岛、重庆、长沙、哈尔滨成立了分公司,全国14个城市年培养优质人才20000余人,同期在校学员5000余人,合作院校超500所,合作企业超10000家,每年有数十万名学员受益于千锋教育组织的技术研讨会、技术培训课...【详情】
相关课程
其他城市
相关机构

申请试听名额

已有10254人申请免费试听

01电话咨询 | 010-64707530

QQ:2645567689
加盟合作:0755-83654572