超神的程序员的博客
超神的程序员 · 共 1 篇文章
Yarn的初步学习
一、hadoop v1和v2的版本比较 1、v1版本中的jobTracker负责资源调度和任务跟踪、监控,成为整个集群的瓶颈,原因如下: --所有的任务的状态都存储在jobTracker中的内存中,当任务量激增时存在瓶颈 --(还有一个粗粒度的锁,还没具体学习,这里不做陈述) 2、v1版本中的JobTracker的任务在v2版本中分到Yarn上,分为两个组件: --ResourceManager负责资源调度 --applicationMaster负责作业和任务的跟踪和管理 3、新添加的nodemanager负责资源的使用和监控 4、在hadoop2.4之前存在resourceManager的…