presto导数_yyoc97的博客-程序员宅基地

技术标签: hive  csv  大数据  presto  导数  

presto导出数据csv

presto官方文档并没有提供便捷的导数方法。根据查询的量级,我们只好自己选择导出的方式。

  • 数量较少考虑使用工具superset(百万级以下的)
    superset支持的数据源也很多。按照文档,根据自身系统执行相应的命令安装即可。安装完成后然后我们可以在界面上操作添加数据源,执行相关的查询后点击导出即可。
    导出CSV

  • 数量量较大时命令行接口(Command Line Interface
    下载presto-cli-xxx-executable.jar,然后重命名为presto,执行./presto --help,会有相关可利用选择。我们使用 --execute 执行命令导出csv。例如:
    presto --server ip:port --catalog=xxx --user=xxx --execute '需要导出的sql查询命令' --output-format CSV > xxx.csv
    -f 还可以执行sql脚本。查询复杂建议使用这种方式,presto会把execute的’'和sql脚本里的’混淆导致失败,另外sql脚本里要加上;结束,不然会导致Non-terminated statement 异常。
    如果csv出现中文乱码,执行下面指令:iconv -f UTF8 -t GB18030 xxx.csv >tmp.csv

  • 使用hive导出
    presto作为查询引擎,支持的数据源也众多。大数据量我们尽可能选择转存到数据仓库中。然后通过hive,spark等命令直接导出文件。
    hive:hive -e "select * from xxx.xxx"|tr "\t" "," > xxx.csv
    使用逗号分隔,然后在excel中打开就会自动分成多列展示了。
    如果csv出现乱码,同样执行:

iconv -f UTF8 -t GB18030 xxx.csv >tmp.csv
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/yyoc97/article/details/80053125

智能推荐

Unity打包google play最新要求的aab文件的方法_rrtt_2323的博客-程序员宅基地

一种叫 Play Asset Delivery,是上一种的进阶版,据说 google 会免费给你提供 CDN 功能,你不需要自己弄了,但是带来的问题是,你打的 ab 不能丢 StreamingAssets 里了,个数好像也不能超50,命名也有要求,底层加载时要换 api 等一系列问题。一种叫 Android App Bundle,这个应该算是一种过渡方式吧,就是允许你继续使用 unity 的 Asset Bundle 来更新资源的,你需要做的改动是最少的。现在aab这个东西有2种格式,叫人挺难受的。

IDEA创建maven项目,右键没有创建Servlet选项_idea右键没有servlet_知识驿站的博客-程序员宅基地

创建maven的web项目,IDEA右键没有创建Servlet选项,解决方法:创建完maven的web项目之后,需要在pom.xml中添加servlet和jsp的依赖,然后右键maven---->Reload project重新加载项目即可 <!--加入servlet依赖(servlet的jar)--> <dependency> <groupId>javax.servlet</groupId> <artif_idea右键没有servlet

Oracle 内置数据类型 -- LONG 和 RAW_sap long raw 对应oracle字段类型-程序员宅基地

-- Start-- 待续--更多参见:Oracle SQL 精萃-- 声明:转载请注明出处-- Last edited on 2015-01-01-- Created by ShangBo on 2015-01-01-- End_sap long raw 对应oracle字段类型

题都城南庄---中华诗词-唐五代-崔护 _新浪博客去年今日此门中人面桃花相映红-程序员宅基地

【题都城南庄】 去年今日此门中, 人面桃花相映红。 人面不知何处去, 桃花依旧笑春风。 【出处】: 中华诗词-唐五代-崔护 【注释】: 这是一首情意真挚的抒情诗。崔护考进士末中,清明节独游长安城郊南庄,走到一处桃花盛开的农家门前,一位秀美的姑娘出来热情出来接待了他,彼此留下了难忘的印象。第二年清明节再来时,院门紧闭,姑娘不知在何处,只有桃花依旧迎_新浪博客去年今日此门中人面桃花相映红

iOS开发者们如何获取设备型号_ios怎么查看设备型号-程序员宅基地

截止目前,苹果除了很多设备了。iOS开发者们如何获取设备? 导入头文件#include #include 直接调用//获得设备型号+ (NSString *)getCurrentDeviceModel:(UIViewController *)controller{ int mib[2]; size_t len;_ios怎么查看设备型号

cvTransform_欧氏距离变换 找圆心-程序员宅基地

距离变换广泛应用于图像处理,比如可以用距离变换准确找到图像中物体的骨架或者中心线。 欧氏距离变换,是指对于一张二值图像(再次我们假定白色为前景色,黑色为背景色),将前景中的像素的值转化为该点到达最近的背景点的距离。  欧氏距离变换在数字图像处理中的应用范围很广泛,尤其对于图像的骨架提取,是一个很好的参照。_欧氏距离变换 找圆心

随便推点

【转】 分类模型评估指标汇总-程序员宅基地

作者:努力的孔子https://www.cnblogs.com/yanshw/p/10735079.html对模型进行评估时,可以选择很多种指标,但不同的指标可能得到不同的结果,如何选择合适的指标,需要取决于任务需求。正确率与错误率正确率:正确分类的样本数/总样本数,accuracy错误率:错误分类的样本数/总样本数,error正确率+错误率=1这两种指标最简单,也最常用..._正确率指标对于类别分布不平衡的样本仍是有效的模型评估指标

图片轮播/无缝滚动的原理-程序员宅基地

轮播就是通过定时器控制图片的盒子的边距进行变化,从而达到看上去轮播的现象。常用来网站首页轮播图,商品展示等很多种情况。无缝轮播就是看起来是一个方向不停地轮换展示,实现该效果有两个思路,一个就是在本身图片的后面追加一组一样的图片,避免出现空白,从而达到无缝的假象;另一种思路就是每次都把第一张图片放到最后,边距清零,或者定位清零,每执行一次就清空一次,从而达到效果的假象。下面我们一一介绍。如果..._轮播图无缝滚动的原理

linux集群应用实战(更新完毕)_linux应用集群-程序员宅基地

课程描述: 网络的飞速发展,给网络带宽和服务器性能带来了巨大的挑战,基于互联网的应用系统越来越多的瓶颈出现在服务器端,这就对服务器提出了更高的要求,同时,在互联网运营和管理上,也要求更加的智能和灵活,如何能够实时的了解每个服务器的运行状态,并在应用出现故障的第一时间内来处理问题,成为互联网运维中的一个重中之重。 本课程就重点介绍这方面的应用和案例,首先介绍开源的_linux应用集群

JDBC、MAVEN概述_maven jdbc-程序员宅基地

.1. 什么是JDBCJDBC(Java DataBase Connectivity) Java数据库连接其实就是 利用Java语言/程序连接并访问数据库的一门技术之前我们可以通过CMD或者navicat等工具连接数据库但在企业开发中,更多的是通过程序(Java程序)连接并访问数据库,通过Java程序访问数据库,就需要用到JDBC这门技术2. 如何通过JDBC程序访问数据库?2.1、导入jar包–mysql驱动包2.2创建类并实现JDBC程序(六个步骤)//1.注册数据库驱动 Class._maven jdbc

std::move()的学习总结_std::move详解-程序员宅基地

目录1. 移动语义2. std::move的实现及使用3. 总结1. 移动语义移动语义可以使得编译器使用不那么昂贵的移动操作,来替换昂过的复制操作。同拷贝构造函数、拷贝赋值运算符赋予人们复制意义的能力一样,移动构造函数、移动赋值运算符也赋予人们移动语义的能力。更通俗的说:移动语义是通过移动构造函数或者移动赋值运算符实现的举个例子,对于C++标准库提供的std::shared_ptr智能指针,当对其进行复制操作时,需要增加其引用计数,而引用计数是个原子类型,因此增加引用计数是个耗时操作_std::move详解

为什么trim出来的aaa与字符串aaa不双等_aaa字符串-程序员宅基地

public static void main(String[] args) {String a = "aaa";String b = "12aaa";String c = " aaa";String d = "aaa";System.out.println(b.substring(2, b.length()) == a);// 运行结果:falseSystem.out.println..._aaa字符串