超神的程序员
- 浏览: 895 次
- 性别:
- 来自: 北京
-
最新评论
文章列表
一、hadoop v1和v2的版本比较
1、v1版本中的jobTracker负责资源调度和任务跟踪、监控，成为整个集群的瓶颈，原因如下：
--所有的任务的状态都存储在jobTracker中的内存中，当任务量激增时存在瓶颈
--(还有一个粗粒度的锁，还没具体学习，这里不做陈述)
2、v1版本中的JobTracker的任务在v2版本中分到Yarn上，分为两个组件：
--ResourceManager负责资源调度
--applicationMaster负责作业和任务的跟踪和管理
3、新添加的nodemanager负责资源的使用和监控
4、在hadoo ...