hive卡在 kill command不动假死的原因及解决方案_kill command = /data0/hadoop/hadoop-程序员宅基地

技术标签： hive 卡住不动 kill command job 假死

hive中执行了select count(1) from table 后，一直无反应。

我部署了一个节点的hadoop(2.6.0)伪分布式系统，然后部署了hive，启动了hadoop和hive之后，通过命令

# hive --service cli 进入hive的客户端，

然后执行一个查询 show tables;

hive_focus

显示有这个表，然后我执行 select * from hive_tables;

可以查出数据

但是，当我执行 select count(1) from hive_tables;之后，查询一直停留在这里

我只有一个节点，一条数据，按理说不可能一直不往下执行啊，求各位大神指点一下，刚研究hadoop，不太明白

解决方案：

启动了hadoop后，启动了hive，

进入hive-cli，执行 select count(1) from table，屏幕显示到kill command后不继续执行，

经过问题排查，解决思路如下：

1. select * from table 没有问题，但一旦执行select count(1) from table 后就不继续执行，原因是

select * from table 是直接在hive数据库中直接执行的，select count(1) from table 确实调用了mapreduce来执行。

2. 那么调用了mapreduce 之后为什么就停留在那里了呢，直接执行了官网的mapreduce的wordcount后发现相同的情况。

3. 经过上述排查，那么肯定是hadoop配置不对了，由于mapreduce的都是在datanode上执行的，所以初步认定为namenode

和datanode之间没有联通。

4. 于是检查 namenode的hosts文件和slave文件，修改为对应的主机名及ip之后，重新运行wordcount，成功。

5. 重新运行hive select count(1) from table 后，成功。

故，由此得出结论，当mapduce运行不下去的情况，则主要检查namenode和datanode之间的通信情况，包括但不限于以下几种：

1. hosts配置问题，没有把datanode的主机名写入namenode主机的hosts文件中。

2. slave配置问题，没有把datanode的主机名写入namenode主机的slave文件中。

3. ssh无密码访问没有配置。

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

下面是其他解决思路：

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

2016/01/11 15:13

当select * from 全表时候不会执行mapreduce 也就不会消耗内存与CPU，count（1）的时候就在创建job 如果一直卡在那里不动的话~先看下你jps的几个进程是否正确。在就是你机器配置不够~~亲~~

2016/09/14 13:40

其实看你的描述，应该是你前期的检查不足导致的。

1）hadoop伪分布式搭建好后，使用hadoop dfsadmin -report可以查看，是否所有的节点都已经成功启动。

2）使用jps查看进程，应该会有datanode,nodemanger,namenode,secondrynamenode,resourcemanger这些进程，如果缺少那一个的话，那证明hadoop环境没有成功启动

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

如图，hive提交查询的时候，在这步卡主不动假死，也不报错，log也查不出来。
查了各种办法也没解决。
最后反思
1.不借助hive进行分析时候，仅仅是提交job跑mr没有问题
2.到hive上却假死

怀疑是Hive没有连接上mapreduce。一检查hive-env.sh果然是这样。

配置hive-env.sh：

HADOOP_HOME=/apps/hadoop
export HIVE_CONF_DIR=/apps/hive/conf

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

I was finally able to get this to work by increasing the yarn.nodemanager.resource.memory-mb value from 1 GB (the default) to 6 GB. Apparently this is a resource issue, but there are no warnings that I could find that state this clearly.

---------------------

参考自：

https://www.oschina.net/question/1386516_2148428

https://blog.csdn.net/wmlove_hqy/article/details/78819023

https://community.cloudera.com/t5/Cloudera-Manager-Installation/Hive-hangs-at-kill-job-command/td-p/26248

本文链接：https://blog.csdn.net/HD243608836/article/details/85268080

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

从零开始搭建Hadoop_创建一个hadoop项目-程序员宅基地

文章浏览阅读331次。第一部分：准备工作1 安装虚拟机2 安装centos73 安装JDK以上三步是准备工作，至此已经完成一台已安装JDK的主机第二部分：准备３台虚拟机以下所有工作最好都在root权限下操作1 克隆上面已经有一台虚拟机了,现在对master进行克隆,克隆出另外2台子机;1.1 进行克隆21.2 下一步1.3 下一步1.4 下一步1.5 根据子机需要,命名和安装路径1.6 ..._创建一个hadoop项目

心脏滴血漏洞HeartBleed CVE-2014-0160深入代码层面的分析_heartbleed代码分析-程序员宅基地

文章浏览阅读1.7k次。心脏滴血漏洞HeartBleed CVE-2014-0160 是由heartbeat功能引入的，本文从深入码层面的分析该漏洞产生的原因_heartbleed代码分析

java读取ofd文档内容_ofd电子文档内容分析工具（分析文档、签章和证书）-程序员宅基地

文章浏览阅读1.4k次。前言ofd是国家文档标准，其对标的文档格式是pdf。ofd文档是容器格式文件，ofd其实就是压缩包。将ofd文件后缀改为.zip，解压后可看到文件包含的内容。ofd文件分析工具下载：点我下载。ofd文件解压后，可以看到如下内容：对于xml文件，可以用文本工具查看。但是对于印章文件(Seal.esl)、签名文件(SignedValue.dat)就无法查看其内容了。本人开发一款ofd内容查看器，..._signedvalue.dat

基于FPGA的数据采集系统（一）_基于fpga的信息采集-程序员宅基地

文章浏览阅读1.8w次，点赞29次，收藏313次。整体系统设计本设计主要是对ADC和DAC的使用，主要实现功能流程为：首先通过串口向FPGA发送控制信号，控制DAC芯片tlv5618进行DA装换，转换的数据存在ROM中，转换开始时读取ROM中数据进行读取转换。其次用按键控制adc128s052进行模数转换100次，模数转换数据存储到FIFO中，再从FIFO中读取数据通过串口输出显示在pc上。其整体系统框图如下：图1：FPGA数据采集系统框图从图中可以看出，该系统主要包括9个模块：串口接收模块、按键消抖模块、按键控制模块、ROM模块、D.._基于fpga的信息采集

微服务 spring cloud zuul com.netflix.zuul.exception.ZuulException GENERAL-程序员宅基地

文章浏览阅读2.5w次。1.背景错误信息：-- [http-nio-9904-exec-5] o.s.c.n.z.filters.post.SendErrorFilter : Error during filteringcom.netflix.zuul.exception.ZuulException: Forwarding error at org.springframework.cloud..._com.netflix.zuul.exception.zuulexception

邻接矩阵-建立图-程序员宅基地

文章浏览阅读358次。1.介绍图的相关概念　　图是由顶点的有穷非空集和一个描述顶点之间关系-边（或者弧）的集合组成。通常，图中的数据元素被称为顶点，顶点间的关系用边表示，图通常用字母G表示，图的顶点通常用字母V表示，所以图可以定义为:　　G=(V,E)其中，V(G)是图中顶点的有穷非空集合，E(G)是V(G)中顶点的边的有穷集合1.1 无向图：图中任意两个顶点构成的边是没有方向的1.2 有向图：图中..._给定一个邻接矩阵未必能够造出一个图

随便推点

MDT2012部署系列之11 WDS安装与配置-程序员宅基地

文章浏览阅读321次。（十二）、WDS服务器安装通过前面的测试我们会发现，每次安装的时候需要加域光盘映像，这是一个比较麻烦的事情，试想一个上万个的公司，你天天带着一个光盘与光驱去给别人装系统，这将是一个多么痛苦的事情啊，有什么方法可以解决这个问题了？答案是肯定的，下面我们就来简单说一下。WDS服务器，它是Windows自带的一个免费的基于系统本身角色的一个功能，它主要提供一种简单、安全的通过网络快速、远程将Window..._doc server2012上通过wds+mdt无人值守部署win11系统.doc

python--xlrd/xlwt/xlutils_xlutils模块可以读xlsx吗-程序员宅基地

文章浏览阅读219次。python–xlrd/xlwt/xlutilsxlrd只能读取，不能改,支持 xlsx和xls 格式xlwt只能改，不能读xlwt只能保存为.xls格式xlutils能将xlrd.Book转为xlwt.Workbook，从而得以在现有xls的基础上修改数据，并创建一个新的xls，实现修改xlrd打开文件import xlrdexcel=xlrd.open_workbook('E:/test.xlsx') 返回值为xlrd.book.Book对象,不能修改获取sheett_xlutils模块可以读xlsx吗

关于新版本selenium定位元素报错：‘WebDriver‘ object has no attribute ‘find_element_by_id‘等问题_unresolved attribute reference 'find_element_by_id-程序员宅基地

文章浏览阅读8.2w次，点赞267次，收藏656次。运行Selenium出现'WebDriver' object has no attribute 'find_element_by_id'或AttributeError: 'WebDriver' object has no attribute 'find_element_by_xpath'等定位元素代码错误，是因为selenium更新到了新的版本，以前的一些语法经过改动。..............._unresolved attribute reference 'find_element_by_id' for class 'webdriver