Hive环境搭建(保姆级教程)_hive搭建-程序员宅基地

技术标签: hive  # Hadoop  hive环境安装  hive环境搭建  beeline  BigData  MariaDB  

一、Hive简介

Hive由 Facebook 开源用于解决海量结构化日志的数据统计工具。
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行。

当然,SQL语句也可以转换成Tez或Spark。

Hive

为什么需要Hive?

  • 减低学习MapReduce的成本,使DBA、运维人员可以通过SQL来实现
  • 开源,可以节约成本
  • 可以处理大数据

Hive架构体系

Hive架构图

  • Driver组件

    • 解析器(SQL Parser):将 SQL 字符串转换成抽象语法树 AST,这一步一般都用第三方工具库完成,比如 antlr;对 AST 进行语法分析,比如表是否存在、字段是否存在、SQL语义是否有误。

    • 编译器(Physical Plan):将 AST 编译生成逻辑执行计划。

    • 优化器(Query Optimizer):对逻辑执行计划进行优化。

    • 执行器(Execution):把逻辑执行计划转换成可以运行的物理计划。对于 Hive 来

      说,就是 MR/Spark/Tez。

  • MetaStore组件

    • MetaStore组件存储着hive的元数据信息,将自己的元数据存储到了关系型数据库当中,支持的数据库主要有:Mysql、Derby, 支持把metastore独立出来放在远程的集群上面,使得hive更加健壮。
    • 元数据主要包括了表的名称、表所属的数据库(默认是 default)、表的拥有者、表的列、分区及其属性、表的属性(是不是外部表等等)、表的数据所在的目录等
  • 用户接口

    • CLI,即Command Line Interface,即命令交互工具。这样,我们就可以通过命令来与操作Hive。
    • HiveServer2,当启动了这个服务之后,我们就可以通过开发程序来操作Hive。比如通过Java程序,调用Hive JDBC Driver来对数据库增删改查,这个就像平常操作关系数据库一样方便。
    • Hive Web Interface,这个是一个Web版本的操作界面。但它在新版本中已经废弃。可用HUE来代替。

二、 Hive环境安装

Hive的三种部署模式,主要按Metastore 的运行模式进行区分。

Hive部署模式

本文主要以Local模式进行演示,关系数据库将选用Mysql的一个分支版MariaDB。

1. 准备工作

1)安装Hadoop

本文以Hadoop2.7.7为例,可以参考教程:https://blog.csdn.net/tangyi2008/article/details/121908766

安装好Hadoop后,需要添加用户的代理配置:

vi $HADOOP_HOME/etc/hadoop/core-site.xml

添加如下配置项

<property>
    <name>hadoop.proxyuser.xiaobai.hosts</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.xiaobai.groups</name>
    <value>*</value>
</property>

注意,配置项中的xiaobai为ubuntu系统的用户名,如果不是该用户名,改为对应的配置项,比如你的用户名为zhangsan, 则选项为hadoop.proxyuser.zhangsan.hostshadoop.proxyuser.zhangsan.groups

2)安装MariaDB

MariaDB数据库是MySQL的一个分支,由MySQL的创始人Michael Widenius(英语:Michael Widenius)主导开发。开发该分支的原因之一是:甲骨文公司收购了MySQL后,有将MySQL闭源的潜在风险,因此社区采用分支的方式来避开这个风险。

MariaDB名称来自Michael Widenius的女儿Maria的名字。

(1)查看MariaDB安装情况

使用如下命令查看MariaDB的安装情况

sudo dpkg -l | grep maria

如果没有打印任何内容,说明没有安装,否则,可根据需要决定是否需要卸载后重新安装

(2)卸载MariaDB/MySQL

如果你想卸载掉以前安装的mariadb或者mysql,可以使用如下命令

sudo apt autoremove mysql-*

如果确定安装的是maria,可以使用如下命令卸载

sudo apt autoremove mariadb-*
(3)安装MariaDB

可以使用如下命令进行便捷的安装,它会在你默认的源中安装

sudo apt update
sudo apt install mariadb-server

注意:可以在https://downloads.mariadb.org/mariadb/repositories/中去设定自己的操作系统及版本、需要安装的 MariaDB 版本、符合自己国家区域的仓库,以便更快速准确的安装所需要的版本。

当设置好操作系统(18.04LTS)、MariaDB版本(10.6)和仓库(Alibaba Cloud)时,网页上会给出添加仓库的命令和安装的命令

MariaDB版本选择

添加Repository的命令

sudo apt-get install software-properties-common dirmngr apt-transport-https
sudo apt-key adv --fetch-keys 'https://mariadb.org/mariadb_release_signing_key.asc'
sudo add-apt-repository 'deb [arch=amd64,arm64,ppc64el] https://mirrors.aliyun.com/mariadb/repo/10.6/ubuntu bionic main'

更新源并安装MariaDB的命令

sudo apt update
sudo apt install mariadb-server

完成安装,使用下面的命令检查MariaDB服务状态

sudo systemctl status mariadb

当看到如下界面,恭喜你,安装成功!!!

MariaDB状态查看

(4)简单配置MariaDB

使用如下命令进行基本的配置:

sudo mysql_secure_installation

执行命令后,终端会有如下问题需要设定:

1.Enter current password for root (enter for none): 
(预设的MariaDB没有密码,直接Enter即可)

2.Switch to unix_socket authentication [Y/n] n
(是否切换unix_socket安全认证,这里输入的n,即不切换)

3.Change the root password? [Y/n] y
(是否修改root账户的密码,输入的y,即会修改root密码
注意:
- root密码最好是复杂密码,否则可能会每次连接MariaDB时需要加sudo
- 在设置密码时,输入密码时是不会跳光标的
- 本文将密码设置成abc@@123
)

4.Remove anonymous users? [Y/n] y
(是否删除匿名用户,这里输入的是y,即删除匿名用户
默认情况下,MariaDB安装有匿名用户,允许任何人登录MariaDB而无需为其创建帐户,在生产环境中一定要删除
)

5.Disallow root login remotely? [Y/n] y
(是否允许远程登录root账户,否则只能在localhost上登录root账户,这里输入的y,即不允许远程登录root账户)

6.Remove test database and access to it? [Y/n] y
(是否删除test数据库,这里输入的y,即删除test数据库
默认情况下,MariaDB有一个test数据库,允许任何用户获取
)

7.Reload privilege tables now? [Y/n] y
(是否重新加载权限表,这里输入的y,即立即重新加载)
(5)常见问题及解决
  • 连接 MariaDB 需要sudo的问题(mysql有类似问题)

问题描述:在Ubuntu 18.04 版本中安装 MariaDB 后,每次访问MariaDB 需要加 sudo 才能访问。

原因:MariaDB 中 root 用户的密码强度不是强类型。

解决方案:将root账户的密码修改为强类型的密码,例如包含大小写字母、数字、符号的至少 8 位数。比如下面的命令将密码修改成abc@@123

SET PASSWORD = PASSWORD('abc@@123');
  • 远程不能访问

问题描述:不能使用服务器的ip地址连接数据库

原因:默认将ip绑定在了127.0.0.1上,所以只能使用127.0.0.1或者localhost进行连接

解决方案:修改配置文件/etc/mysql/mariadb.conf.d/50-server.cnf

sudo vi /etc/mysql/mariadb.conf.d/50-server.cnf

修改[mysqld]下的参数 bind-address = 127.0.0.1 => bind-address = 0.0.0.0

bind-address修改

然后重启MariaDB service

sudo service mariadb restart

MariaDB/MySQL数据库读取配置文件的顺序如下:

  1. “/etc/mysql/my.cnf” symlinks to this file, reason why all the rest is read.

  2. “/etc/mysql/mariadb.cnf” (this file) to set global defaults,

  3. “/etc/mysql/conf.d/*.cnf” to set global options.i

  4. “/etc/mysql/mariadb.conf.d/*.cnf” to set MariaDB-only options.

  5. “~/.my.cnf” to set user-specific options.

2. Hive安装

1) 下载Hive安装包

下载地址:https://dlcdn.apache.org/hive/, 本文下载版本为:apache-hive-2.3.9

录然也可以在windows上通过迅雷等加速软件下载好以后,再使用sftp工具上传到相应目录

cd ~/soft
wget https://dlcdn.apache.org/hive/hive-2.3.9/apache-hive-2.3.9-bin.tar.gz

2)安装Hive

tar -xvf apache-hive-2.3.9-bin.tar.gz -C ~/opt
cd ~/opt
ln -s apache-hive-2.3.9-bin/ hive

配置环境变量

vi ~/.bashrc

在末尾添加如下内容:

export HIVE_HOME=/home/xiaobai/opt/hive
export PATH=$HIVE_HOME/bin:$PATH

使配置生效

source ~/.bashrc

3)上传MySQL驱动

MySQL的连接驱动的下载页面:https://downloads.mysql.com/archives/c-j/

这里使用wget下载5.1.49版本的连接器:

cd ~/soft
wget https://cdn.mysql.com/archives/mysql-connector-java-5.1/mysql-connector-java-5.1.49.tar.gz
tar -xvf mysql-connector-java-5.1.49.tar.gz
cp mysql-connector-java-5.1.49/mysql-connector-java-5.1.49.jar   ~/opt/hive/lib

当然也可以在windows上下载好相应的连接器,然后将其传入目录$HIVE_HOME/lib即可

4)修改配置文件

配置文件:hive-site.xml

常用配置参数介绍:

属性名称 类型 默认值 描述
hive.metastore.warehouse.dir URI /user/hive/warehouse 相对于fs.defaultFS的目录,托管表就存储在这里
hive.metastore.uris 逗号分隔的URI 未设定 如果未设置(默认值),则使用当前的metastore,否则连接到由URI列表指定要连接的远程metastore服务器。如果有多个远程服务器,则客户端便以轮询方式连接
javax.jdo.option.ConnectionURL URI jdbc:derby:;databaseName=metastore_db;create=true JDBC URL, mysql示例: jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true
javax.jdo.option.ConnectionDriverName String org.apache.derby.jdbc.EmbeddedDriver JDBC驱动器的类名 mysql示例: com.mysql.jdbc.Driver
javax.jdo.option.ConnectionUserName String APP JDBC用户名
javax.jdo.option.ConnectionPassword String mine JDBC密码

打开hive-site.xml

vi ~/opt/hive/conf/hive-site.xml

添加如下内容

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://node1:3306/hive?useSSL=false&amp;createDatabaseIfNotExist=true</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>hive</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>hive_pwd</value>
    </property>
    <property> 
        <name>hive.server2.thrift.port</name> 
        <value>10000</value> 
    </property>
    <property>
        <name>hive.server2.thrift.bind.host</name>
        <value>node1</value>
    </property>
</configuration>

特别注意:这里设置的数据库主机为node1, 需要解决数据库**远程不能访问**的问题

5)元数据初始化

(1)数据库对账号授权
mysql -uroot -pabc@@123
grant all privileges on hive.* to 'hive'@'%' identified by 'hive_pwd';
(2)初始化元数据
schematool -dbType mysql -initSchema

3. 测试环境

1)启动hdfs和yarn

#确保启动hdfs和yarn
start-dfs.sh
start-yarn.sh

2)CLI命令窗口

#进入hive的CLI命令窗口,hive命令后不跟参数时,默认启动cli,即下面命令等价于hive
hive --service cli 

hive cli

3)beeline客户端

(1)启动HS2服务

使用beeline客户端,需要启动hiveserver2服务(HS2)

nohup hive --service hiveserver2 &

在启动一些后台守护进程时经常搭配使用nohup&: nohup <程序名> &

  • 使用nohup运行程序

    • 使用Ctrl + C发送SIGINT信号,程序关闭
    • 关闭session发送SIGHUP信号,程序免疫
  • 使用&后台运行

    • 使用Ctrl + C发送SIGINT信号,程序免疫
    • 关闭session发送SIGHUP信号,程序关闭
(2)启动beeline
#启动beeline
beeline

#在交互界面输入连接信息:
!connect  jdbc:hive2://node1:10000

#输入用户名和密码

#查看所有数据库
show databases;

beeline

也可以在beeline启动时就指定相应连接参数

beeline -u jdbc:hive2://node1:10000 -n xiaobai -p 123456
  • -u: 连接的JDBC URL
  • -n: 连接的用户名
  • -p: 连接的密码

至此,大功告成!!!

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/tangyi2008/article/details/123368215

智能推荐

laravel rabbitmq 队列

解决方案,这是一个来自.env文件的问题。将登录详细信息的名称从RABBITMQ_LOGIN更改为RABBITMQ_USER。

window11, WSL, Ubuntu 20.04 安装 tensorflow-gpu_windows11安装ubuntu虚拟机和tensoflow-gpu-程序员宅基地

文章浏览阅读855次。window11 wsl ubuntu20.4 配置深度学习GPU环境_windows11安装ubuntu虚拟机和tensoflow-gpu

postman 中 将操作 反向生成 curl 命令_postman反向生成代码-程序员宅基地

文章浏览阅读1.1w次。执行操作完后,点击Code:选择cURL:生成成功:当然还可以反向生成很多其他语言的代码:例如java:例如js:_postman反向生成代码

C# 写一个简单的TXT小说阅读器_c#小说阅读器-程序员宅基地

文章浏览阅读907次。上班的时候看小说不是要上那些网站看,就是要下载txt用那些文本阅读器看,很是麻烦。就想做一个简单的txt小说阅读器。要求不高,只要能打开txt文档并显示章节目录,并且能够点击跳转至章节除即可。_c#小说阅读器

喜讯 | 百度地图IPv6定位项目成功入选IPv6技术创新和融合应用试点项目_百度api ipv6定位-程序员宅基地

文章浏览阅读865次。在普适场景下,百度地图实现了全球覆盖能力的精准网络定位技术。百度地图以时空大数据及人工智能AI算法为基础,通过围绕IPv6定位技术策略升级、IPv6定位隐私保护技术应用、IPv6定位行业应用拓展等方向做定位技术深度研究,进而扩大基于IPv6的定位技术应用覆盖率,推动“IPv6+”网络产品研发与产业化发展。日前,百度地图(北京百度网讯科技有限公司)IPv6定位项目成功入选IPv6技术创新和融合应用试点项目,推进实现IPv6定位技术、产业、网络、终端、应用与安全协调并进,打造IPv6应用创新发展新优势。_百度api ipv6定位

硕果累累实至名归 WD硬盘倍受业界青睐-程序员宅基地

文章浏览阅读141次。西部数据公司日前宣布,旗下多个系列的硬盘产品凭借高度可靠性、优越品质以及领先的技术在刚刚过去的2008年频频获奖。这些奖项来自于极具公信力的业界媒体,如《现代计算机》、《Chip新电脑》、《电脑世界》等,充分显示了专业人士和消费群体对WD的深受青睐。适用于台式机的WD3.5英寸鱼子酱系列始终占据市场份额和技术领先位置。依托WD320G单碟(PMR..._西数硬盘固件包大全+wd硬盘工具+教程

随便推点

体育赛事编排管理系统的设计与实现 毕设源码59094_比赛编排源代码-程序员宅基地

文章浏览阅读484次。体育赛事编排管理系统主要功能模块包括学院名称、单人赛事、报名信息(单人)、赛事类别、赛事安排(单人)、团体赛事、报名信息(团体)、赛事安排(团队)、赛事报告等信息维护,采取面对对象的开发模式进行软件的开发和硬体的架设,能很好的满足实际使用的需求,完善了对应的软体架设以及程序编码的工作,采取MySQL作为后台数据的主要存储单元,采用Java技术、Ajax技术进行业务系统的编码及其开发,实现了本系统的全部功能。本次报告,首先分析了研究的背景、作用、意义,为研究工作的合理性打下了基础_比赛编排源代码

编译iOS arm64 armv7 armv7s x86-64的第三方静态库_xcode 编译arm64 静态库-程序员宅基地

文章浏览阅读2.8k次。今日有幸得到项目经理的召唤,叫我编译一个既支持arm64 armv7 armv7s也支持虚拟器的静态库。泪崩了,我以前一直都没有搞过这个。后来上网查了一些资料得到初步的聊解。首先对名词进行解析一下。【armv7】iPhone 4/iPhone 4S【armv7s】iPhone 5/iPhone 5C【arm64】iPhone 5S_xcode 编译arm64 静态库

linux查光纤存储,CentOS 6.5光纤HBA配置和存储识别-程序员宅基地

文章浏览阅读1k次。设备 IBM V3700Brocade 300Qlogic 2560Dell R720存储已划分LUN主机已新增主机,主机和LUN映射已作 存储多路径设备需要的软件支持 默认情况下CenOS6.5最小化安装镜像已包含[root@localhost ~]# rpm -qa |grep device-mapperdevice-mapper-libs-1.02.79-8.el6.x86_64device..._linux 6.5 hba 在线识别存储

Vue简单示例——weex跨平台解决方案-程序员宅基地

文章浏览阅读4k次,点赞27次,收藏41次。Vue简单实例——创建一个基本的weex应用_weex

windows mysql开启远程连接-程序员宅基地

文章浏览阅读4.8k次,点赞2次,收藏7次。关于虚拟机开启远程端口_windows mysql开启远程连接

【OpenCV】摄像机标定+畸变校正_opencv相机畸变标定软件-程序员宅基地

文章浏览阅读7.7w次,点赞73次,收藏590次。通过MATLAB和OpenCV对摄像机进行标定,附程序!_opencv相机畸变标定软件