技术标签: hive python3学习 可视化 linux mysql hadoop 大数据
参考我之前所写的文章
Hadoop伪分布配置
http://archive.apache.org/dist/hbase
选择一个版本的hbase 下载 并导入到虚拟机内
此处通常下载*****.bin.tar包
tar -zxvf ******
解压完成后
vim /etc/profile
加上
export HBASE_HOME=/opt/module/hbase-2.2.1
export PATH=$PATH:$HBASE_HOME/bin
配置成功
http://www.apache.org/dyn/closer.cgi/hive/
通过官网下载安装包
将安装包导入到虚拟机中
使用
tar -zxvf ******
语句进行解压
vim ~/.bashrc
在最后一行后 加入以下语句
export HIVE_HOME=/usr/local/hive
export PATH=$PATH:$HIVE_HOME/bin
export HADOOP_HOME=/usr/local/hadoop
保存 退出后 使用cource语句使其生效
source ~/.bashrc
cd /usr/local/hive/conf
mv hive-default.xml.template hive-default.xml
vim hive-site.xml
在其中添加上以下内容
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
<description>username to use against metastore database</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>hive</value>
<description>password to use against metastore database</description>
</property>
</configuration>
注意:
若xml文件中已经含有
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
则将这两行删掉
使用:wq保存退出
使用以下命令安装MySQL
wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm
yum -y install mysql57-community-release-el7-10.noarch.rpm
yum -y install mysql-community-server
首先启动MySQL
systemctl start mysqld.service
查看MySQL状态
systemctl status mysqld.service
如图 则为启动成功
使用语句查看密码
grep "password" /var/log/mysqld.log
进入MySQL 输入默认密码
mysql -uroot -p
使用语句更改密码
ALTER USER 'root'@'localhost' IDENTIFIED BY 'new password';
注意:
密码中必须带有大小写字母、数字、特殊字符各一个
vim /etc/my.cnf
添加一行
character-set-server=utf8
MySQL配置完成
在启动Hive之前 先启动hadoop
然后再启动Hive
使用以下HiveQL语句 导入csv文件
create database test;
use test;
create table table1(id VARCHAR(50),attitude VARVCHAR(10),date(10));
LOAD DATA INFILE '/var/lib/mysql-files/news_info.csv' INTO TABLE table1 CHARACTER SET utf8 FIELDS TERMINATED BY ',' ENCLOSED BY '"';
使用以下语句导出文件
hdfs dfs -get /var/lib/mysql/teat/table1
代码如下
import matplotlib.pyplot as plt
dic = {
}
with open(r'C:\Users\ttumetai\Desktop\数据集\news_info.csv',encoding='utf-8') as f:
for i in f:
line = list(i.split(','))
if line != ['id 正反\t\t 公开日期\n']:
id = line[0]
attitude = line[1]
date = line[2]
if id not in dic:
dic[id] = attitude
list1 = dic.values()
positive = 0
negative = 0
neturul = 0
for i in list1:
if i == '积极':
positive += 1
elif i == '消极':
negative += 1
elif i == '中立':
neturul += 1
plt.rcParams['font.sans-serif']=['SimHei']
attitude_list = ['积极','消极','中立']
attitude_values = [positive,negative,neturul]
plt.pie(attitude_values,labels=attitude_list)
plt.show()
结果如下
文章浏览阅读1.8k次。数据库是系统中最重要的组成部分之一,需要经常维护和监控,及时发现和解决问题,以确保系统的正常运行。在实际运维工作中,需要根据具体情况采取相应的措施,以保证数据库的可靠性和安全性。_数据库常见问题
文章浏览阅读1.4k次。https://stackoverflow.com/questions/19178011/error-unknown-file-type-hpp-in-distutils-extension-moduleconda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/conda con..._python setup.py build undefined symbol
文章浏览阅读6.8w次,点赞244次,收藏1.6k次。本文是在Matlab下设计数字滤波器的一些总结,减少了理论的说明,重在代码的实现方法,给出了普遍使用的数字滤波器代码,修改参数即可移植使用。主要内容包括:滤波器的特性介绍、FIR、IIR数字滤波器的生成方法,包括冲激响应不变法和双线性映射法的实现。最后介绍了Matlab自带的滤波器生成工具的使用方法和扫频信号的生成,可以避开复杂的理论计算,直接设计需要的滤波器,提高工作效率。_matlab设计滤波器
文章浏览阅读436次。前提:springboot实例化AutoConfiguration有两种方式:1.@Configuration注解方式2.通过META-INF下的spring.factories文件指定,如:org.springframework.boot.autoconfigure.EnableAutoConfiguration=\org.springframework.boot.actuate.autoconfigure.health.HealthEndpointAutoConfiguration_configurationafter
文章浏览阅读1k次。目录基础必会文字的编码函数定义 functiondef 语句函数的调用return 语句函数的调用传参局部变量和全局变量global 语句lambda 表达式(又称匿名函数)id(x) 函数is / is not 运算符None 对象函数式编程python 中的常用高阶函数python 中常用的函数map函数filter 函数sorted 函数模块import 语句python 的第三方模块random 模块
文章浏览阅读1.5w次,点赞5次,收藏34次。好久没有写文章了,赶紧补几篇。最近研究了一个玻璃折射的效果(用在砖石上),虽然没有达到最满意的效果,还是先分享出来,待以后有更好的想法再补充。先看效果吧:这里面有两个效果,左边是unity的免费插件Gem Shader,右边的是我自己实现的,我将分别介绍这两个效果的实现方法。一、知识补充:两个shader都使用了CubeMap...Shader "FX/Diamond"_diamond shader
文章浏览阅读2.1k次。一般这个错误一出现,就是数组的问题,通常后面还会跟一个 Index: 0, Size: 0,也就是java.lang.IndexOutOfBoundsException: Index: 0, Size: 0什么意思呢?就是有个数组要取出0位置的值,程序发现那个位置也就是0位置那里并没有值,就会报这个错,也有人说是越界错误,也是可以理解的。数组越界了,那里当然也没有值可以给你取得的。_0, size 0
文章浏览阅读6.5k次,点赞7次,收藏19次。opencv编译三大坑opencv编译三大坑第一坑 依赖环境第二坑 CMAKE第三坑 makeopencv编译三大坑opencv内容繁多,文档垃圾,编译真乃神坑,今天就好好记录opencv编译3宗罪!吐槽贴,希望能给陷入opencv编译泥潭的人带来一点帮助。第一坑 依赖环境“工欲善其事,必先利其器。”打开opencv主页,或者github,关于opencv编译安装的文档约等于没有,一时间让..._编译opencv_world很多报错
文章浏览阅读1.9w次,点赞8次,收藏59次。Matlab--使用HeatMap画热图_matlab 画热图加上bar
文章浏览阅读614次。1、使用jar包:jsch-0.1.24.jar2、代码示例import java.io.BufferedReader;import java.io.IOException;import java.io.InputStream;import java.io.InputStreamReader;import com.jcraft.jsch.ChannelExec;..._使用java ssh设备查看状态
文章浏览阅读84次。#include<cstdio>#include<cmath>#include<algorithm>#include<iostream>typedef struct Node{ double l; double r; bool operator < (const Node &a..._hrbust 1414
文章浏览阅读4.9k次,点赞2次,收藏3次。满二叉树(Full Binary Tree)、完全二叉树(Complete Binary Tree)_full binary tree