YARN Federation-程序员宅基地

技术标签： federation  yarn  

介绍

众所周知，YARN可扩展到数千个节点。 YARN的可伸缩性由Resource Manager确定，并且与节点数，活跃的应用程序，活跃的容器和心跳频率成比例。降低心跳可以提高可扩展性，但对利用率有害。本文档描述了一种基于联邦（federation）的方法，通过联合多个YARN子集，将单个YARN集群扩展到数万个节点。所提出的方法是将大的（10-100k节点）集群划分为称为子集群的较小单元，每个集群具有其自己的YARN RM和计算节点。联合系统（federation system）将这些子集群拼接在一起，使它们成为应用程序的一个大型YARN集群。在此联合环境中运行的应用程序将看到单个大型YARN群集，并且能够在联合群集的任何节点上计划任务。联合系统将与子集群的Resource Manager协商并为应用程序提供资源。目标是允许单个作业无缝地“跨越”子集群。
这种设计在结构上是可扩展的，因为我们限制每个RM负责的节点数量，并且适当的策略将会保证大多数应用程序驻留在单个子集群中，因此每个RM看到的应用程序数量 也是有限的。 这意味着我们几乎可以通过简单地添加子集来线性扩展（因为它们之间需要很少的协调）。 此体系结构可以在每个子集群中提供非常严格的调度不变量来实施，而跨集群的连续重新平衡将强制这些属性在全局级别也得到尊重。

架构

YARN Federation的主要设计思想是希望通过联合的方式让集群可以有多个SubCluster 。 每个SubCluster都是一个独立的小集群，由子集群的ResourceManager分别管理一部分节点。这些小集群共同组成一个大的YARN Federation集群，实现资源的统一管理与作业调度。

  1. sub-cluster：子集群是一个YARN集群，具有多达数千个节点。
    子集群的YARN RM将在保持高可用性的情况下运行，即，我们应该能够容忍YARN RM，NM故障。如果整个子集群遭到破坏，外部机制将确保在单独的子集群中重新提交作业。
    子集群也是联合环境中的可伸缩性单元。我们可以通过添加一个或多个子集群来扩展联合环境。
  2. Router：路由组件，一个Federation 集群可以配置一组，但最少配置一个。用户提交应用时首先会访问其中一个Router，然后Router会先从State Store中获得所有“Sub Cluster”信息（active rm 和 其他一些使用率信息），之后根据配置的路由策略（从策略存储中获取）将应用程序提交请求转发到对应的RM上。
  3. AMRMProxy：AMRMProxy是应用程序和多个RM通讯的桥梁。他允许一个App可以跨子集群运行。例如，一个App有2000个task, 这些task会分散到所有子集群上运行，每个子集群运行一部分。AMRMProxy运行在所有的NM机器上，它实现了ApplicationMasterProtocol接口作为AM的YARN RM的代理。 应用程序不能直接与子集群的RM通信。 YARN框架强制应用程序只能连接到AMRMProxy，从而提供对多个YARN RM（通过动态路由/拆分/合并通信）的透明访问。 在任何时候，作业都可以跨主子集群和多个辅助子集群运行，其中AMRMProxy的运行策略会试图限制每个作业的占用空间以降低调度上的开销。
  4. Global Policy Generator(简写：GPG)：全局策略生成器忽略整个联合，并确保系统始终被正确的配置和调整。 关键设计点是群集的可用性不依赖于永远在线的GPG。
  5. Federation State-Store：联合状态定义了需要维护的附加状态，以便将多个单独的子集群松散地耦合到单个大型联合集群中。
  6. Federation Policy Store：联合策略存储是一个逻辑上独立的存储，其中包含有关如何将应用程序和资源请求路由到不同子集群的信息。 当前的实现提供了几种策略，从随机/散列/循环/优先级（random/hashing/roundrobin/priority）到更复杂的策略，这些策略考虑了子集群的负载。

应用程序跨Sub-Clusters运行的流程

提交应用程序时，Router会找一个最合适的子集群运行应用程序，称之为应用程序的主子集群。AM与RM的所有通信都通过AM机器本地的AMRMProxy进行。理想情况下，应用程序默认会运行在资源和数据都可用的子集群上，但如果需要其他子集群节点上的资源，则AMRMProxy将与这个子集群的RM通讯请求资源。让应用程序像在一个大集群上运行。这个功能需要AMRMProxy，全局策略生成器（Global Policy Generator，GPG）和Router组合在一起使用。

配置

具体配置在官网上可以看到，在此不介绍。

 

原文地址：https://www.jianshu.com/p/e97fbfc99003
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010670689/article/details/96902589

智能推荐

Kotlin 解压缩_kotlin 对上传的压缩包进行分析-程序员宅基地

文章浏览阅读638次。fun unZip(zipFile: String, context: Context) { var outputStream: OutputStream? = null var inputStream: InputStream? = null try { val zf = ZipFile(zipFile) val entries = zf.entries() while (en..._kotlin 对上传的压缩包进行分析

64K方法数限制解决办法_java函数大于64k编译失败-程序员宅基地

文章浏览阅读1.9k次。随着业务逻辑越来越多，业务模块也越来越大，不可避免会遇到64K方法数的限制。最直观的表现就是编译报错：较早版本的编译系统中，错误内容如下：Conversion to Dalvik format failed:Unable to execute dex: method ID not in [0, 0xffff]: 65536较新版本的编译系统中，错误内容如下：trouble writing outp_java函数大于64k编译失败

案例分享——低压电力线载波通信模组（借助电源线实现远距离数据传输、宽压输入、波特率范围广、应用场景多样化）_电力载波模块csdn-程序员宅基地

文章浏览阅读2k次，点赞7次，收藏10次。物联网领域，有很多数据通信场景，因为原设备整体系统结构、运行环境等方面的限制，需求在不增加通信数据线缆的情况下实现数据的远程传输，因为特殊应用场景下考虑到环境的限制，还不能使用常规的无线通信手段，所以借助电源线缆进行传输的电力线载波技术应运而生，本次博文给大家分享的就是博主完全自主研发的低压电力线载波通信模组。_电力载波模块csdn

密码学基础_密码体制的五个要素-程序员宅基地

文章浏览阅读7.4k次。密码学基本概念 密码学（Cryptology）是结合数学、计算机科学、电子与通信等学科于一体的交叉学科，研究信息系统安全的科学。起源于保密通信技术。具体来讲，研究信息系统安全保密和认证的一门科学。 密码编码学，通过变换消息（对信息编码）使其保密的科学和艺术 密码分析学，在未知密钥的情况下从密文推_密码体制的五个要素

python支持中文路径_基于python 处理中文路径的终极解决方法-程序员宅基地

文章浏览阅读1.9k次。1 、据说python3就没有这个问题了2 、u'字符串' 代表是unicode格式的数据，路径最好写成这个格式，别直接跟字符串'字符串'这类数据相加，相加之后type就是str，这样就会存在解码失误的问题。别直接跟字符串'字符串'这类数据相加别直接跟字符串'字符串'这类数据相加别直接跟字符串'字符串'这类数据相加unicode类型别直接跟字符串'字符串'这类数据相加说四遍3 、有些读取的方式偏偏..._python 路径 中文

阿里云 B 站直播首秀，用 Serverless 搭个游戏机？-程序员宅基地

文章浏览阅读107次。最近，阿云 B 站没声音，是在憋大招！8月5日周四 19:00 是阿里云的直播首秀，给大家请来了 Forrester 评分世界第一的 Serverless 团队产品经理江昱，给大家在线...._阿里云直播b站

随便推点

AS 3.1.3连续依赖多个Module，导致访问不到Module中的类_为什么as在一个包下建了多个module,缺无法打开了-程序员宅基地

文章浏览阅读1.1k次。我好苦啊，半夜还在打代码。还出bug，狗日的。问题是这样的：我在新建的项目里，建了两个Module: fiora-ec和fiora-core。项目的依赖顺序是这样的，App依赖fiora-ec,fiora-ec又依赖于fiora-core，因为这种依赖关系，所有可以在app和fiora-ec中删除一些不必要的引入，比如这个玩意儿：com.android.support:appcompat-v7:..._为什么as在一个包下建了多个module,缺无法打开了

Magento 常用插件二-程序员宅基地

文章浏览阅读1.4k次。1. SMTP 插件 URL：http://www.magentocommerce.com/magento-connect/TurboSMTP/extension/4415/aschroder_turbosmtp KEY：magento-community/Aschroder_TurboSmtp 2. Email Template Adapter..._magento extension pour ricardo.ch

【连载】【FPGA黑金开发板】Verilog HDL那些事儿--低级建模的资源（六）-程序员宅基地

文章浏览阅读161次。声明：本文为原创作品，版权归akuei2及黑金动力社区共同所有，如需转载，请注明出处http://www.cnblogs.com/kingst/ 2.5 低级建模的资源 低级建模有讲求资源的分配，目的是使用“图形”来提高建模的解读性。 图上是低级建模最基本的建模框图，估计大家在实验一和实验二已经眼熟过。功能模块（低级功能模块）是一个水平的长方形，而控制模块（低级控制模块）是矩形。组..._cyclone ep2c8q208c黑金开发板

R语言实用案例分析-1_r语言案例分析-程序员宅基地

文章浏览阅读2.2w次，点赞10次，收藏63次。在日常生活和实际应用当中，我们经常会用到统计方面的知识，比如求最大值，求平均值等等。R语言是一门统计学语言，他可以方便的完成统计相关的计算，下面我们就来看一个相关案例。1. 背景最近西安交大大数据专业二班，开设了Java和大数据技术课程，班级人数共100人。2. 需求通过R语言完成该100位同学学号的生成，同时使用R语言模拟生成Java和大数据技术成绩，成绩满分为100，需要满足正_r语言案例分析

Java知识体系总结（2024版），这一次带你搞懂Spring代理创建过程-程序员宅基地

文章浏览阅读639次，点赞11次，收藏26次。虽然我个人也经常自嘲，十年之后要去成为外卖专员，但实际上依靠自身的努力，是能够减少三十五岁之后的焦虑的，毕竟好的架构师并不多。架构师，是我们大部分技术人的职业目标，一名好的架构师来源于机遇(公司)、个人努力(吃得苦、肯钻研)、天分(真的热爱)的三者协作的结果，实践+机遇+努力才能助你成为优秀的架构师。如果你也想成为一名好的架构师，那或许这份Java成长笔记你需要阅读阅读，希望能够对你的职业发展有所帮助。一个人可以走的很快，但一群人才能走的更远。

车辆动力学及在Unity、UE4中的实现_unity 车辆动力学模型-程序员宅基地

文章浏览阅读3.9k次，点赞9次，收藏53次。受力分析直线行驶时的车轮受力如下：水平方向上，所受合力为：F=Ft+Fw+FfF=F_t+F_w+F_fF=Ft​+Fw​+Ff​其中，FtF_tFt​为牵引力，FwF_wFw​为空气阻力，FfF_fFf​为滚动阻力，下面我们将逐个介绍。驱动力先来说扭矩，扭矩是使物体发生旋转的一个特殊力矩，等于力和力臂的乘积，单位为N∙mN∙mN∙m：设驱动轴的扭矩为TtT_tTt​，车轮半径为rrr，那么牵引力：Ft=Tt⁄rF_t=T_t⁄rFt​=Tt​⁄r如何求得驱动轴扭矩TtT_tTt​呢？_unity 车辆动力学模型

推荐文章

热门文章

相关标签