技术标签: zookeeper
(1)Zookeeper:一个领导者(Leader),多个跟随者(Follower)组成的集群。
(2)Zookeepe集群中只要有半数以上节点存活,Zookeeper集群就能正常服务。所以zookeeper适合安装奇数台服务器。
(3)全局数据一致:每个server保存一份相同的数据副本,client无论连接到哪个Server,数据都是一致的。
(4)更新请求顺序执行,来自同一个client的更新请求按其发送顺序依次执行,即先进先出。
(5)数据更新原子性,一次数据更新要么成功,要么失败。
(6)实时性,在一定时间范围内,client能读到最新数据。
提供的服务包括:统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等。
统一命名服务
在分布式环境下,经常需要对应用/服务进行统一命名,便于识别。例如:IP不容易记住,而域名容易记住。
统一配置管理
(1)分布式环境下,配置文件同步非常常见。一般要求一个集群中,所有节点的配置信息是一致的,比如Kafka集群。对配置文件修改后,希望能够快速同步到各个节点上。
(2)配置管理可交由ZooKeeper实现。可将配置信息写入ZooKeeper上的一个Znode。各个客户端服务器监听这个Znode。一旦Znode中的数据被修改,ZooKeeper将通知各个客户端服务器。
统一集群管理
(1)分布式环境中,实时掌握每个节点的状态是必要的。可根据节点实时状态做出一些调整。
(2)ZooKeeper可以实现实时监控节点状态变化。可将节点信息写入ZooKeeper上的一个2Node。监听这个DMode可获取它的实时状态变化。
服务器动态上下线
客户端能实时洞察到服务器上下线的变化。
软负教均衡
在Zookeeper中记录每台服务器的访问数,让访问数最少的服务器去处理最新的客户端请求。
(1)服务器1启动,发起一次选举。服务器1投自己一票。此时服务器1票数一票,不够半数以上(3票),选举无法完成,服务器1状态保持为LOOKING;
(2)服务器2启动,再发起一次选举。服务器1和2分别投自己一票并交换选票信息:此时服务器1发现服务器2的myid比自己目前投票推举的(服务器1)大,更改选票为推举服务器2。此时服务器1票数0票,服务器2票数2票,没有半数以上结果,选举无法完成,服务器1,2状态保持LOOKING
(3)服务器3启动,发起一次选举。此时服务器1和2都会更改选票为服务器3。此次投票结果:服务器1为0票,服务器2为0票,服务器3为3票。此时服务器3的票数已经超过半数,服务器3当选Leader。服务器1,2更改状态为FOLLOWING,服务器3更改状态为LEADING;
(4)服务器4启动,发起一次选举。此时服务器1,2,3已经不是LooKING状态,不会更改选票信息。交换选票信息结果:服务器3为3票,服务器4为1票。此时服务器4服从多数,更改选票信息为服务器3,并更改状态为FOLOWING;
(5) 服务器5启动,同4一样当小弟。
(1)当ZooKeeper集群中的一台服务器出现以下两种情况之一时,就会开始进入Leader选举:
(2)而当一台机器进入Leader选举流程时,当前集群也可能会处于以下两种状态:
选举Leader规则:
SID
:服务器ID。用来唯一标识一台ZooKeeper集群中的机器,每台机器不能重复,和myid一致。
ZXID
:事务ID。ZXID是一个事务ID,用来标识一次服务器状态的变更。在某一时刻,集群中的每台机器的zxID值不一定完全一致,这和ZooKeeper服务器对于客户端"更新请求"的处理逻辑速度有关。
Bpoch
:每个Leader任期的代号。没有Leader时同一轮投票过程中的逻辑时钟值是相同的。每投完一次票这个数据就会增加
环境准备工作
服务器类型 | 系统和IP地址 | 需要安装的组件 |
---|---|---|
Zookeeper服务器1 | CentOS7.4(64 位) 192.168.80.50 | jdk |
Zookeeper服务器2 | CentOS7.4(64 位) 192.168.80.60 | jdk |
Zookeeper服务器3 | CentOS7.4(64 位) 192.168.80.70 | jdk |
必要工作:关闭防火期和SElinux
//关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
//安装 JDK
yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel
java -version
//下载安装包
官方下载地址:https://archive.apache.org/dist/zookeeper/
cd /opt
wget https://archive.apache.org/dist/zookeeper/zookeeper-3.5.7/apache-zookeeper-3.5.7-bin.tar.gz
cd /opt
tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz
mv apache-zookeeper-3.5.7-bin /usr/local/zookeeper-3.5.7
cd /usr/local/zookeeper-3.5.7/conf/
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
tickTime=2000 #通信心跳时间,Zookeeper服务器与客户端心跳时间,单位毫秒
initLimit=10 #Leader和Follower初始连接时能容忍的最多心跳数(tickTime的数量),这里表示为10*2s
syncLimit=5 #Leader和Follower之间同步通信的超时时间,这里表示如果超过5*2s,Leader认为Follwer死掉,并从服务器列表中删除Follwer
dataDir=/usr/local/zookeeper-3.5.7/data ●修改,指定保存Zookeeper中的数据的目录,目录需要单独创建
dataLogDir=/usr/local/zookeeper-3.5.7/logs ●添加,指定存放日志的目录,目录需要单独创建
clientPort=2181 #客户端连接端口
vim zoo.cfg
------
追加
server.1=192.168.80.50:3188:3288
server.2=192.168.80.60:3188:3288
server.3=192.168.80.70:3188:3288
server.A=B:C:D
- A 是一个数字,表示这个是第几号服务器。集群模式下需要在zoo.cfg中dataDir指定的目录下创建一个文件myid,这个文件里面有一个数据就是A的值,Zookeeper启动时读取此文件,拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server。
- B 是这个服务器的地址。
- C 是这个服务器Follower与集群中的Leader服务器交换信息的端口。
- D 是万一集群中的Leader服务器挂了,需要一个端口来重新进行选举,选出一个新的Leader,而这个端口就是用来执行选举时服务器相互通信的端口。
scp /usr/local/zookeeper-3.5.7/conf/zoo.cfg 192.168.80.60:/usr/local/zookeeper-3.5.7/conf/
scp /usr/local/zookeeper-3.5.7/conf/zoo.cfg 192.168.80.70:/usr/local/zookeeper-3.5.7/conf/
mkdir /usr/local/zookeeper-3.5.7/data
mkdir /usr/local/zookeeper-3.5.7/logs
echo 1 > /usr/local/zookeeper-3.5.7/data/myid
echo 2 > /usr/local/zookeeper-3.5.7/data/myid
echo 3 > /usr/local/zookeeper-3.5.7/data/myid
vim /etc/init.d/zookeeper
#!/bin/bash
#chkconfig:2345 20 90
#description:Zookeeper Service Control Script
ZK_HOME='/usr/local/zookeeper-3.5.7'
case $1 in
start)
echo "---------- zookeeper 启动 ------------"
$ZK_HOME/bin/zkServer.sh start
;;
stop)
echo "---------- zookeeper 停止 ------------"
$ZK_HOME/bin/zkServer.sh stop
;;
restart)
echo "---------- zookeeper 重启 ------------"
$ZK_HOME/bin/zkServer.sh restart
;;
status)
echo "---------- zookeeper 状态 ------------"
$ZK_HOME/bin/zkServer.sh status
;;
*)
echo "Usage: $0 {start|stop|restart|status}"
esac
chmod +x /etc/init.d/zookeeper
chkconfig --add zookeeper
service zookeeper start
service zookeeper status
总结:
集群规则为 2N+1 台,N>0,即 3 台。可以继续使用,单数服务器只要没超过一半的服务器宕机就可以继续使用。
集群管理:监控节点存活状态、运行请求等;
主节点选举:主节点挂掉了之后可以从备用的节点开始新一轮选主,主节点选举说的就是这个选举的过程,使用 Zookeeper可以协助完成这个过程;
分布式锁:Zookeeper
提供两种锁:独占锁、共享锁。独占锁即一次只能有一个线程使用资源,共享锁是读锁共享,读写互斥,即可以有多线线程同时读同一个资源,如果要使用写锁也只能有一个线程使用。Zookeeper可以对分布式锁进行控制。命名服务:在分布式系统中,通过使用命名服务,客户端应用能够根据指定名字来获取资源或服务的地址,提供者等信息。
Zookeeper 本身也是集群,推荐配置不少于 3 个服务器。Zookeeper 自身也要保证当一个节点宕机时,其他节点会继续提供服务。
如果是一个 Follower 宕机,还有 2 台服务器提供访问,因为 Zookeeper 上的数据是有多个副本的,数据并不会丢失;
如果是一个 Leader 宕机,Zookeeper 会选举出新的 Leader。
ZK 集群的机制是只要超过半数的节点正常,集群就能正常提供服务。只有在 ZK节点挂得太多,只剩一半或不到一半节点能工作,集群才失效。
所以
3 个节点的 cluster 可以挂掉 1 个节点(leader 可以得到 2 票>1.5)
2 个节点的 cluster 就不能挂掉任何 1 个节点了(leader 可以得到 1 票<=1)
ZooKeeper 本身就是一个分布式程序(只要半数以上节点存活,ZooKeeper 就能正常服务)。
ZooKeeper 将数据保存在内存中,这也就保证了 高吞吐量和低延迟(但是内存限制了能够存储的容量不太大,此限制也是保持 Znode 中存储的数据量较小的进一步原因)。
ZooKeeper 底层其实只提供了两个功能:①管理(存储、读取)用户程序提交的数据;②为用户程序提交数据节点监听服务。
文章浏览阅读1w次,点赞2次,收藏18次。1. ODBC数据库接口ODBC即开放式数据库互连(Open Database Connectivity),是微软公司推出的一种实现应用程序和关系数据库之间通讯的接口标准。符合标准的数据库就可以通过SQL语言编写的命令对数据库进行操作,但只针对关系数据库。目前所有的关系数据库都符合该标准(如SQL Server,Oracle,Access,Excel等)。ODBC本质上是一组数据库访问API(应用程序编程接口),由一组函数调用组成,核心是SQL语句,其结构如图1.8所示:图 1.8 ODBC数._连接数据库有几种方法
文章浏览阅读2.6k次。直接上代码:debug发现@Autowired的定义的变量都是为null,再看看这个service是否加了注解:结果发现这个service加了@Service这个注解,那么问题出现在哪呢?查找进入这个service的入口发现:使用这个service的时候是new出来的对象,而不是使用@Autowired来获取的,所以导致这个service不能获取spring_getbean null
文章浏览阅读131次。上章节我们介绍了有关图形化界面迁移FSMO角色,进行本章节之前我们首先回顾一下FSMO的五种操作主机角色:架构主机角色(Schema Master)、域命名主机角色(Domain Naming Master)、RID 主机角色(RID Master)、PDC 模拟主机角色(PDC Emulator)和基础架构主机角色(Infrastructure Master);不管是林范围主机角色还是..._一、下面是通过 ntdsutil 方式进行转移
文章浏览阅读370次。#!/usr/bin/env Python# -*- coding: gbk -*- #上面这句很重要,声明了python文件编码,常用的编码方式有utf8/utf-8/gbk/gb2312,没有此句会报错,#SyntaxError: Non-ASCII character '\xc9' in file request1.py on line 3, but no encoding _non-ascii character '\xc9' in file
文章浏览阅读177次。PMP是指项目管理专业人士资格认证。它是由美国项目管理协会(Project Management Institute(PMI)发起的,严格评估项目管理人员知识技能是否具有高品质的资格认证考试。其目的是为了给项目管理人员提供统一的行业标准。目前,美国项目管理协会建立的认证考试有:PMP(项目管理师)已在全世界200多个国家和地区设立了认证考试机构。PMP培训也是一种较为专业的学习,是把项目管理作为一种科学理论来学习,但最后还要在实践中灵活运用。PMP培训把项目管理作为一门独立的学科来学习,把项目管_pmp培训目的
文章浏览阅读451次。安装完虚拟机,及相应的操作系统后。会在控制面板里的网络连接面板里多出两个连接,一个是VMnet1,一个是VMnet8两个都是虚拟网卡,用于虚拟机内操作系统连网用的。可以通过两种方式连网:1)bridged的网桥方式2)NAT方式需要相应的设置。启动对应的网卡,在vm settings->ERTHENET 里选择对应的连网方式。
文章浏览阅读1.3k次。 FTP默认使用21端口进行连接,但实际上不止使用了21端口,如果防火墙是打开的,那就会碰到一个问题就是,能登录ftp,但是下载文件却会有问题。 FTP是常见的基于TCP的网络服务,它使用了两个TCP连接来建立逻辑通信信道,即控制连接和数据连接。当客户端与服务器建立一个FTP会话时,使用TCP创建一个持久的控制连接以传递命令和应答。当发送文件和其它数据传输时,它们在独立的TCP数据连接上进行..._linux有防火墙会影响ftp用户推文件吗
文章浏览阅读2.3k次。1、链接默认指向原生form中。2、如果想让该链接跳转到自定义的form中,需要配置context,在其中增加form_view_ref属性,比如context="{'form_view_ref': 'odoo9_model.odoo9_product_hxy_form'}",odoo9_model是moduls模块名称,odoo9_product_hxy_form_odoo form_view_ref
文章浏览阅读199次。新的T-Mobile G1手机是不能够直接使用的,我们必须要对它进行破解操作(也就是激活系统)。目前有两种比较简单有效的方法供用户们选择,一种是去某些网站直接花USD购买激活码,另一种方法就是使用卡贴。下面就开始我的android之旅~1、同步联系人注册Gmail邮箱注册Gmail邮箱 首先,你要去申请一个gmail的邮箱,然后把你的联系人从其他的手机导入gmail邮箱中。我...
文章浏览阅读495次,点赞17次,收藏8次。当你需要在Linux系统上实现更细粒度的文件访问控制和数据加密时,可以使用访问控制列表(ACL)和GNU Privacy Guard(GPG)来提高文件和数据的安全性。
文章浏览阅读513次,点赞7次,收藏2次。_linux系统调优书
文章浏览阅读3.6k次,点赞5次,收藏25次。文章目录1 结论2 演示3 详解3.1 prompt3.2 set feedback3.3 set define1 结论prompt : 提示信息,prompt 后面的内容原样输出set feedback:反馈信息,每执行一条 sql 命令,Oracle 都会给一条反馈信息,如: (1) 创建表成功时,Oracle 会反馈 Table created (2) 插入一条数据时,Oracle 会反馈 1 row inserted (3) _prompt importing table