Hbase 的架构详解_hbase架构-程序员宅基地

Hbase 作为 NoSQL 数据库的代表，属于三驾马车之一 BigTable 的对应实现，HBase 的出现很好地弥补了大数据快速查询能力的空缺。在前面咱们也有介绍过 HBase 的数据模型，感兴趣的小伙伴可以翻看下。谈谈你对HBase数据模型的认识？

HBase 的核心架构由五部分组成，分别是 HBase Client、HMaster、Region Server、ZooKeeper 以及 HDFS。它的架构组成如下图所示。

下面我们对 HBase 架构组成的每一部分详细介绍一下。

1.HBase Client

HBase Client 为用户提供了访问 HBase 的接口，可以通过元数据表来定位到目标数据的 RegionServer，另外 HBase Client 还维护了对应的 cache 来加速 Hbase 的访问，比如缓存元数据的信息。

2.HMaster

HMaster 是 HBase 集群的主节点，负责整个集群的管理工作，主要工作职责如下：

分配Region：负责启动的时候分配Region到具体的 RegionServer；
负载均衡：一方面负责将用户的数据均衡地分布在各个 Region Server 上，防止Region Server数据倾斜过载。另一方面负责将用户的请求均衡地分布在各个 Region Server 上，防止Region Server 请求过热；
维护数据：发现失效的 Region，并将失效的 Region 分配到正常的 RegionServer 上，并且在Region Sever 失效的时候，协调对应的HLog进行任务的拆分。

3.Region Server

Region Server 直接对接用户的读写请求，是真正的干活的节点，主要工作职责如下。

管理 HMaster 为其分配的 Region；
负责与底层的 HDFS 交互，存储数据到 HDFS；
负责 Region 变大以后的拆分以及 StoreFile 的合并工作。

与 HMaster 的协同：当某个 RegionServer 宕机之后，ZK 会通知 Master 进行失效备援。下线的 RegionServer 所负责的 Region 暂时停止对外提供服务，Master 会将该 RegionServer 所负责的 Region 转移到其他 RegionServer 上，并且会对所下线的 RegionServer 上存在 MemStore 中还未持久化到磁盘中的数据由 WAL 重播进行恢复。

下面给大家详细介绍下 Region Serve数据存储的基本结构，如下图所示。一个 Region Server 是包含多个 Region 的，这里仅展示一个。

Region：每一个 Region 都有起始 RowKey 和结束 RowKey，代表了存储的Row的范围，保存着表中某段连续的数据。一开始每个表都只有一个 Region，随着数据量不断增加，当 Region 大小达到一个阀值时，Region 就会被 Regio Server 水平切分成两个新的 Region。当 Region 很多时，HMaster 会将 Region 保存到其他 Region Server 上。
Store：一个 Region 由多个 Store 组成，每个 Store 都对应一个 Column Family, Store 包含 MemStore 和 StoreFile。
- MemStore：作为HBase的内存数据存储，数据的写操作会先写到 MemStore 中，当MemStore 中的数据增长到一个阈值（默认64M）后，Region Server 会启动 flasheatch 进程将 MemStore 中的数据写人 StoreFile 持久化存储，每次写入后都形成一个单独的 StoreFile。当客户端检索数据时，先在 MemStore中查找，如果MemStore 中不存在，则会在 StoreFile 中继续查找。
- StoreFile：MemStore 内存中的数据写到文件后就是StoreFile，StoreFile底层是以 HFile 的格式保存。HBase以Store的大小来判断是否需要切分Region。

当一个Region 中所有 StoreFile 的大小和数量都增长到超过一个阈值时，HMaster 会把当前Region分割为两个，并分配到其他 Region Server 上，实现负载均衡。

HFile：HFile 和 StoreFile 是同一个文件，只不过站在 HDFS 的角度称这个文件为HFile，站在HBase的角度就称这个文件为StoreFile。
HLog：负责记录着数据的操作日志，当HBase出现故障时可以进行日志重放、故障恢复。例如，磁盘掉电导致 MemStore中的数据没有持久化存储到 StoreFile，这时就可以通过HLog日志重放来恢复数据。

4.ZooKeeper

HBase 通过 ZooKeeper 来完成选举 HMaster、监控 Region Server、维护元数据集群配置等工作，主要工作职责如下：

选举HMaster：通ooKeeper来保证集中有1HMaster在运行，如果 HMaster 异常，则会通过选举机制产生新的 HMaster 来提供服务；
监控Region Server: 通过 ZooKeeper 来监控 Region Server 的状态，当Region Server 有异常的时候，通过回调的形式通知 HMaster 有关Region Server 上下线的信息；
维护元数据和集群配置：通过ooKeeper储B信息并对外提供访问接口。

5.HDFS

HDFS 为 HBase 提供底层数据存储服务，同时为 HBase提供高可用的支持， HBase 将 HLog 存储在 HDFS 上，当服务器发生异常宕机时，可以重放 HLog 来恢复数据。

本文链接：https://blog.csdn.net/pxg943055021/article/details/124815832

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

ASP.Net中使用Log4Net-程序员宅基地

文章浏览阅读254次。1、在Web.Config配置Code<configSections><sectionname="log4net"type="log4net.Config.Log4NetConfigurationSectionHandler,log4net"/></configSections><log4net><!--De..._asp.net中使用log4net

js实现图片压缩【无需导包】-程序员宅基地

文章浏览阅读800次。将图片压缩后，我们会得到一个 Base64 编码的字符串，该字符串包括了压缩后的图片数据以及一些元信息，如图片格式、压缩质量等。可以通过第二个参数来设置图片的压缩质量，该参数的取值范围是0到1，其中0表示最低质量（最高压缩），1表示最高质量（最低压缩，默认值为0.92）。就是如果后续需要把压缩后的图片比如说进行上传操作，我们得得到处理后图片的Base64 编码就好办了，其实这个 Base64 编码就在眼前。这里我再提供一个vue测试代码，可以在控制台中打印出图片压缩前后的size，以及图片压缩后的回显。

第十三届蓝桥杯省赛C++ C组《全题目+题解》_蓝桥杯c组省赛-程序员宅基地

文章浏览阅读5.4k次，点赞75次，收藏141次。本篇来自第十三届蓝桥杯省赛C++ C组《全题目+题解》_蓝桥杯c组省赛

MATLAB车道线检测技术分析_车道路线识别matlab-程序员宅基地

文章浏览阅读942次，点赞22次，收藏21次。车道线检测的应用场景具有时序信息特性，为了利用时序特征通常会引入RNN模块，加上Encoder-Decoder的形式已经成为CNN特征提取的标配，所以一般的做法是对Encoder提取的Features进行进一步加工，提取连续帧带来的历史信息。VPGNet：一共20k张图片，包含白天（非雨天、雨天、大雨天）、夜晚的数据，同时包含了各种车道线类型，以及其他不同类型的车道标识（左转箭头、直行箭头、斑马线等等），如下图。TuSimple：一共72k张图片，位于高速路，天气晴朗，车道线清晰，特点是车道线以点来标注；_车道路线识别matlab

kds官方android客户端,电子厨打设置（KDS/ADS）-程序员宅基地

文章浏览阅读1.3k次。KDS应用场景KDS和ADS设置使用方案：厨房模式(KDS) 配菜模式(ADS) 呼叫广告模式(TV)电子菜牌模式KDS(kitchen display system)ADS(assign display system)准备工作安卓电子厨打客户端硬件要求：各类安卓平板及安卓一体机(安卓4.4.2以上，7寸屏以上)收银设备的IP，做KDS的设备IP，做ADS的设备IP必须在同一个网段(接同一个路由上..._kitchen display system

Nginx + Consul + Upsync实现动态负载均衡_consul+nginx-upsync-module-程序员宅基地

文章浏览阅读1.7k次。各组件作用：ConsulWeb：Consul的客户端可视化界面，管理负载均衡配置的信息ConsulServer：Consul服务端，用于存放负载均衡配置Nginx：以间隔时间动态读取ConsulServer配置Upsync：新浪微博开源的基于Nginx实现动态配置的三方模块。Nginx-Upsync-Module的功能是拉取Consul的后端server的列表，并动态更新Nginx..._consul+nginx-upsync-module

随便推点

墨器杯垫文创商品设计特优_杯垫文创设计说明-程序员宅基地

文章浏览阅读737次。教育部昨举行「102年国立馆所文创商品设计比赛」颁奖典礼，台北科技大学创新设计研究所硕士生谢镇宇，为TW艺术教育馆设计「墨器」杯垫，取「默契」谐音，用5片压克力板，展现水墨画层层渲染效果，增加立体视觉感受，并在杯架后方加入LED光源，获评审肯定夺特优奖和奖金10万元。台南应用科技大学商品设计系学生高郁翔，为国立自然科学博物馆设计「恐龙化石钉书机」，他认为小朋友把钉书机钉下去的那一刻，会觉得像暴龙準_杯垫文创设计说明

C#中关于XML与对象，集合的相互转换-程序员宅基地

文章浏览阅读404次。XML与对象，集合的相互转化　　今天小伙伴在群里问了一下关于XML与对象之间的相互转换，作为菜鸟的我正好趁着闲着的时间学习了一波，直接上代码了，有疑问或者有错误的地方还请大家指正，谢谢。。。。 1 using System; 2 using System.Collections.Generic; 3 using System.IO; 4 using System...._c# xml转集合

笔记：图以及cpp基础-程序员宅基地

文章浏览阅读1.8k次。如int fun(int i,char a)和void fun(char a,int i)就可以构成函数重载，根据函数名修饰的原理我们可以得到_funic和 _funci两个经过修饰之后得到的函数名，在进行修饰后的函数名显然是不同的。定义：同一个作用域内，相同函数名，参数不同（类型不同，个数不同）可以构成函数重载（和返回值无关）分析其二：顶点i的度即为第i行和i列的“1”的个数，如果是无向图就只要考虑每一行“1”的个数。图的邻接矩阵为一个二维数组，设为A.arcs【i】【j】（理解为两个顶点之间的关系）_cpp