一、hadoop v1和v2的版本比较
1、v1版本中的jobTracker负责资源调度和任务跟踪、监控,成为整个集群的瓶颈,原因如下:
--所有的任务的状态都存储在jobTracker中的内存中,当任务量激增时存在瓶颈
--(还有一个粗粒度的锁,还没具体学习,这里不做陈述)
2、v1版本中的JobTracker的任务在v2版本中分到Yarn上,分为两个组件:
--ResourceManager负责资源调度
--applicationMaster负责作业和任务的跟踪和管理
3、新添加的nodemanager负责资源的使用和监控
4、在hadoop2.4之前存在resourceManager的单点故障问题,在2.4中添加了resourceManager的HA
二、名字解释
resourceManager:
--一个纯粹的调度器
--根据应用程序的要求严格限制系统的可用资源
--在保证容量、公平性及服务等级的情况下,优化集群资源利用率,让所有资源都得到充分利用
--有可插拔的资源调度算法,如:注重容量调度还是注重公平调度
applicationMaster
--负责与resourceManager通信,协商应用程序所需要的资源,并和nodeManager系统工作执行和监控Container以及他们的资源消耗
--在resourceManager处获取Container,并监控
资源类型:
--资源名称(主机名、机架名、以及复杂的网络拓扑)
--内存量
--CPU
--其他资源:磁盘盒网络IO等
Container
--对资源类型的一个量化
requestManager
--applicationMaster向resourceManager提交的请求Container的请求
三、任务执行流程(以mapreduce计算任务为例)
通过Client提交应用请求到资源管理器resourceManager,创建应用程序上下文对象和相应applicationMaster,resourceManager并向客户端返回状
态,mapduce中每个task 关于与监控由applicationMaster程序负责
applicationMaster向resourceManager通过ResourceRequest申请资源(Container),resourceManager通过Scheduler分配一个Container来响应资源,为
应用程序授予在特定主机上使用资源的权利,applicationMaster取走Container ,交给NodeManager,nodeManager根据响应的资源启动Container对应的
任务进程。applicationMaster向nodeManager申请启动和停止Container
applicationMaster请求的资源包括
四、
为了对应hadoop集群的本地化特性,dataNode上运行着NodeManager,NodeManager可直接使用本地机器上的块,而无需在网络中传输。
注:
另外,在其它计算模型比如pig中 也会为一组程序启动一个applicationMaster,而不是一个任务对应一个,这跟mapduce计算模型是不同的。
相关推荐
YARN学习书籍及注解
关于Yarn的学习,hadoop2.0 yarn的有关知识。理论、工作原理、参数调优等。
npm install -g yarn yarn install 安装失败,使用官方下载的yarn.lock文件
赠送jar包:hadoop-yarn-api-2.5.1.jar; 赠送原API文档:hadoop-yarn-api-2.5.1-javadoc.jar; 赠送源代码:hadoop-yarn-api-2.5.1-sources.jar; 赠送Maven依赖信息文件:hadoop-yarn-api-2.5.1.pom; 包含翻译后...
YARN Essentials
yarn 前端打包工具指定配置文件
现在官网下载缓慢,这里可以直接下载安装,所以分享给大家,以供直接下载,版本号 yarn-1.0.2.msi
详细介绍了Hadoop2.x的资源管理框架yarn,内容丰富,很有帮助。
赠送jar包:hadoop-yarn-client-2.6.5.jar; 赠送原API文档:hadoop-yarn-client-2.6.5-javadoc.jar; 赠送源代码:hadoop-yarn-client-2.6.5-sources.jar; 赠送Maven依赖信息文件:hadoop-yarn-client-2.6.5.pom;...
yarn架构详解,关于大数据yarn资源调度的详解
Yarn是 Facebook 提供的替代 npm 的工具具=
现在官网下载缓慢,这里可以直接下载最新版本安装,版本号 yarn-1.22.0.msi yarn是facebook发布的一款取代npm的包管理工具。 快速、可靠、安全的依赖管理工具
YARN配置、启动与验证 YARN配置、启动与验证 序号 任务名称 任务一 YARN组件参数配置 任务二 MapReduce组件参数配置 任务三 配置SSH无密钥登录(slave1为主节点) 任务四 分发YARN与MapReduce配置文件 任务五 启动...
Yarn 对你的代码来说是一个包管理器, 你可以通过它使用全世界开发者的代码,或者分享自己的代码。 Yarn 做这些快捷、安全、可靠,所以你不用担心什么。 通过Yarn你可以使用其他开发者针对不同问题的解决方案,使...
yarn各节点运作流程
yarn安装.docx
yarn安装包给不能下载的用户提供下载,欢迎下载。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。
yarn编码,实现Application列表查询,Application的kill操作。以及Job的查询,map和reduce个数查询
yarn配置文件yarn配置文件yarn配置文件 配合nodejs和yarn使用
今天用到yarn编译一个前端工程,要求版本大于1.0,官网的404,其他地方居然找了半天也没有可用的下载地址,csdn上没有低于25分的。特意分享一下,免得面临同样需求的人白白耽误时间。