列式存储-程序员宅基地

OLAP中数据存储的问题

OLAP 需要队列进行选择，行式存储按行存数据，使用索引加快对数据的查找（索引包括聚集索引（表记录的排列顺序与索引的排列顺序一致）和非聚簇索引（非聚集索引指定了表中记录的逻辑顺序，但记录的物理顺序和索引的顺序不一致））。这种方式对按列的存储和检索不是很高效，查询某一列数据需要将所有行的数据扫描一次，而且对统计分析也不友好。

列式存储原理

若使用列式存储可以只用扫描出需要的列，行、列存储的对比。
在这里插入图片描述

文件格式

parquet 文件格式：

如下图所示：parquet file = header + block * N + footer

在这里插入图片描述

header ：

block ：

转换成层次图如下
在这里插入图片描述
其中

行组(Row Group)：按照行将数据物理上划分为多个单元，每一个行组包含一定的行数，在一个HDFS文件中至少存储一个行组，Parquet读写的时候会将整个行组缓存在内存中，所以如果每一个行组的大小是由内存大的小决定的。

列块(Column Chunk)：在一个行组中每一列保存在一个列块中，行组中的所有列连续的存储在这个行组文件中。不同的列块可能使用不同的算法进行压缩。

页(Page)：每一个列块划分为多个页，一个页是最小的编码的单位，在同一个列块的不同页可能使用不同的编码方式。

footer：

文件中所有的metadata都存在于footer中。footer中的metadata包含了格式的

版本信息
schema信息
key-value paris
所有block中的metadata信息。

footer中最后两个字段为一个以4个字节长度的footer的metadata,以及同header中包含的一样的PAR1。

字典页

在Parquet中，有三种类型的页：数据页、字典页和索引页。数据页用于存储当前行组中该列的值，字典页存储该列值的编码字典，每一个列块中最多包含一个字典页，索引页用来存储当前行组下该列的索引，目前Parquet中还不支持索引页，但是在后面的版本中增加。通过字典页可以压缩数据，原理如下图。http协议也用到了这种数据压缩方式。
在这里插入图片描述

列式存储查询数据

在这里插入图片描述

特点

映射下推
谓词下推

总结

行、列存储对比：

行式存储-优点

Ø 数据被保存在一起
Ø INSERT/UPDATE容易
Ø 查询时只有涉及到的列会被读取

列式存储-优点

Ø 投影(projection)很高效
Ø 任何列都能作为索引

行式存储-缺点

Ø 选择(Selection)时即使只涉及某几列，所有数据也都会被读取

列式存储-缺点

Ø 选择完成时，被选择的列要重新组装
Ø INSERT/UPDATE比较麻烦

参考：

官网：https://parquet.apache.org/
parquet 工具： https://github.com/wesleypeck/parquet-tools
blog：https://mp.weixin.qq.com/s/r0N8LOTmONAgoqFklznhgg

本文链接：https://blog.csdn.net/acethan/article/details/116041749

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

基础的Linux命令_touch index.js-程序员宅基地

文章浏览阅读92次。基本的Linux命令改变目录回退到上一个目录显示当前所在目录路径列出当前目录中的所有文件新建一个文件，如index.js，在当前目录下新建一个index.js文件删除一个文件新建一个目录（新建一个文件夹）删除一个文件夹index移动文件重新初始化终端清屏查看命令历史帮助退出注释改变目录cd回退到上一个目录cd…显示当前所在目录路径pwd列出当前目录中的所有文件ls新建一个文件，如index.js，在当前目录下新建一个index.js文件touch index.js删除一个文件如rm _touch index.js

Qt中如何将QComboBox中的选项StringItem与数值内联binding_qt combobox显示数值和实际值怎么绑定-程序员宅基地

文章浏览阅读501次。Qt中如何将QComboBox中的选项StringItem与数值内联binding开发文档中有两种方法第一种：第二种：这里介绍第二种（我认为更简单的一种）就用我目前做的一个小项目来说吧我的combo box中有各种各样的运动，每种运动自动内联着它所对应的一个小时所消耗的卡路里（int）consume::consume(QWidget *parent) : QDialog(parent), ui(new Ui::consume){ ui->setupUi(_qt combobox显示数值和实际值怎么绑定

创建异形窗口[3]-程序员宅基地

文章浏览阅读81次。为什么80%的码农都做不了架构师？>>> ..._gtk3 异形窗口

C语言：验证下列矩阵是否为魔方阵。魔方阵是每一行、每一列、主副对角线上的元素之和都是相等的矩阵。-程序员宅基地

文章浏览阅读2.6k次。#include <stdio.h>#include <string.h>#include <string.h>int main(void){ int a[5][5] = {17,24,1,8,15, 23,5,7,14,16, 4,6,13,20,22, 10,12,19,21,3, 11,18,25._验证下列矩阵是否为魔方阵。魔方阵是每一行、每一列、主副对角线上的元素之和都是

Django疫情返乡人员管理系统-11411，计算机毕业设计开题选题+程序定制+论文书写+答辩ppt书写-原创（题目+编号）的定制程序-程序员宅基地

文章浏览阅读51次。免费领取项目源码，请关注赞收藏并私信博主，谢谢-本课题研究的疫情返乡人员管理系统，主要功能模块包括：防疫须知、疫情用品、返乡报备、用户反馈管理等，主要是主要采取Mysql作为后台数据的主要存储单元，运用软件工程原理和开发方法，采用Python的Django技术构建的，实现了系统的全部功能。本次报告，首先分析了研究的背景、作用、意义，为研究工作的合理性打下了基础。

随便推点

您绝对不能错过的 10 个 OKR 示例！_优秀的okr案例-程序员宅基地

文章浏览阅读429次，点赞6次，收藏8次。在此基础上，制定团队 OKR，它可以是产品层面的或部门层面的，但它们会融入组织的目标中。使用 OKR 方法的一个巨大好处是，它可以针对不同的部门和团队进行细分，以便整个公司追求相同的组织目标，但利用特定的关键结果。如果您没有达到 100% 的关键结果，您仍然应该为实现这一目标所付出的努力感到自豪，评估是否需要进行更改，并重新调整下一个周期的目标和关键结果。令人惊讶的是，伦敦商学院进行的一项研究显示，在接受调查的 11,000 名高级管理人员中，只有三分之一能够列出他们公司的三大优先事项。_优秀的okr案例

HDU 5350(MZL's munhaff function-哈夫曼树)_禎痲霤攷 hdu-程序员宅基地

文章浏览阅读2.1k次。MZL's munhaff functionTime Limit: 3000/1500 MS (Java/Others) Memory Limit: 131072/131072 K (Java/Others)Total Submission(s): 230 Accepted Submission(s): 133Problem DescriptionMZL is _禎痲霤攷 hdu

AndroidStudio4.1 自定义模板_android studio 4.1 自定义模板-程序员宅基地

文章浏览阅读1.3k次。AndroidStudio4.0之前，可以在template的文件夹里使用freemarker的自定义模板，可以在AndroidStudio的文件夹中，随意的添加适合自己的自定义模板，之前鸿洋大神的文章已经有来详细的介绍（https://blog.csdn.net/lmj623565791/article/details/51592043）。但是从4.1版本开始提供新的方式，Geminio，用Kotlin的形式编写新的template，而且需要使用插件的形式，才能使用自定义的模板，摸索了好几天，终于解决了_android studio 4.1 自定义模板

微信小程序云开发-酒店点餐类系统，附带（node.js在widows环境下的配置过程）_云开发可以做扫码类么-程序员宅基地

文章浏览阅读3.2k次，点赞3次，收藏11次。前些日子，帮一个学生做了一个毕业设计，是关于酒店点餐的微信小程序，现在整理一下过程。本款小程序是基于微信云开发的，现在做微信小程序的一大方便是：微信给大家提供了免费空间（云开发），对于不想花钱去租用服务器和域名的小伙伴儿来说，这无疑是一大喜事！本款小程序非常适合商城类小程序的二次开发或是学习商城类小程序最佳的一个案例。废话不多说，直接上图：小程序..._云开发可以做扫码类么

jq使用ajax报错404,jQuery中ajax错误调试分析-程序员宅基地

文章浏览阅读1.8k次。jQuery中把ajax封装得非常好。但是日常开发中，我偶尔还是会遇到ajax报错。这里简单分析一下ajax报错一般的jQuery用法如下，ajax通过post方式提交"汤姆和老鼠"这段数据到xxx.php文件中。成功后则打印返回的数据，失败则打印错误原因。$.ajax({url:"xxx.php",type:"post",datatype:"json",data:{"cat":"tom","mo..._jquery ajax保存数据到后端flask,出现404not found错误

HDU 1587 Flowers 解题报告_2019 flowers acm-程序员宅基地

文章浏览阅读1.3k次。动态规划完全背包_2019 flowers acm