常见的大数据项目_天下一般的博客-程序员ITS203_大数据项目

技术标签: 大数据  

大数据项目最重要的两个特点是数据量大,实时性要求强,这也是与小数据和传统数据处理方式的最重要的区别。

大数据领域的主打项目,如下所示:
在这里插入图片描述

在这里插入图片描述
大数据领域的项目,主要分成以下几个部分

  1. 数据的整合,也就是数据的输入和存储。
  2. 数据的处理,包括流的处理以及专业的大数据处理,离线和实时处理,可视化处理等。
  3. 数据的快速查询,ETL是典型。
  4. 数据集群提供服务,也就是集成上面一种或者多种,给用户提供服务。

说到底,也是计算机的设计思想,I/0,存储,处理。只不过数据量变大之后,原有的技术已经不能够快速、实时的处理。所以采用了数仓进行存储,采用了分布式的方式进行计算。

所以,大数据处理的核心和难点也就在于两个方面,一个是如何集成数据,另一个是如何分散处理数据。这也就造就了大数据的职业方向,一个是数仓的建设,另一个是分布式计算和实时计算。当然数据的价值,体现在你能挖掘出来多少价值(废话文学),所以数据挖掘和数据分析这种岗位也是大数据的重要方向。

参考文献

本文是参照大数据工程师必须掌握的7个项目进行的总结。

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/fuzekun/article/details/124139616

智能推荐

numpy数组切片操作_whitesilence的博客-程序员ITS203

numpy 数组的切片操作 关于-1的解析再来看个多维数组的情况A=np.array(range(24))A=np.reshape(A,[4,3,2])输出:Aarray([[[ 0, 1], [ 2, 3], [ 4, 5]], [[ 6, 7], [ 8, 9], [10, 11]], [[1

php socket 类,php socket通信演示以及socket操作类_UEGamer的博客-程序员ITS203

准备做Java的课程设计,一个通讯录。采用C/S架构。客户端用java FX和Java,服务器端用php,采用socket通信。下面来讲一讲php的socket通信:讲之前,得先讲一下TCP/IP,UDP。随着互联网应用的日益广泛,相信很多人或多或少都听说过这些协议,那么到底它们是什么呢?1、什么是TCP/IP、UDP?TCP/IP(Transmission Control Protocol/In...

WPF DX10 DX11 interoperation_lhy_ps6的博客-程序员ITS203

WPF host DX9 的surface通过d3dimage,wpf unleashed 这本书里有提到。但是DX10,DX11之类的就比较麻烦,因为Dx10之后的surface与dx9的不一样。目前所知有如下解决方案:1.完全将dx11做一个c# wrapper。请搜索 Windows API Code Pack 1.12.参考kinect的一个wpf d3d demo。装上k

Semantic UI入门示例_xiaobudingCC的博客-程序员ITS203

1.下载Semantic UI包引入相关文件遇到各种各样的问题,比如icon找不到、无动效等问题,所以通过链接的方式引入文件。2.在页面引入文件(按照顺序)引入文件内容如下:            3.接下来就可以使用Semantic UI的样式了。

CTF 每日一题 Day42 [BJDCTF2020]这是base?_ChaoYue_miku的博客-程序员ITS203

题目名称:[BJDCTF2020]这是base??题目类型:Crypto题目来源:BUUCTF题目描述:听说这题是rsa的续集 注意:得到的 flag 请包上 flag{} 提交

Java实现头像截取裁剪后图片保存,获取的是base64数据,怎么转换为图片并保存到数据库。_xixidabai的博客-程序员ITS203

头像截取裁剪后图片保存,(base64数据)形式保存到数据库和文件http://blog.csdn.net/qq_36410795/article/details/72652027

随便推点

深入理解计算机系统(序章)------谈程序员为什么要懂底层计算机结构_weixin_33734785的博客-程序员ITS203

  万丈高楼平地起,计算机系统就像程序员金字塔的地基。理解了计算机系统的构造原理,在写程序的道路上才能越走越远。道理LZ很早就懂了,可是一直没下定决心好好钻研,或许是觉得日常工作中根本用不到这些,又或许是每次拿起书看到那些复杂的底层架构,看到存储器,寄存器,CPU,总线等等这些概念就头大。总之,由于各种各样的原因,对这块的知识一直没有认真花时间去钻研。那么你可能会问,那你写这篇博客的题目不就是准备...

SSH 客户端神器之 MobaXterm_公众号:Java后端的博客-程序员ITS203

由于需要连接远程 Linux 服务器,早期使用过 Putty,SecureCRT,后面主要使用 Xshell。自从接触了 MobaXterm之后,个人感觉比 Xshell 更好用,堪称SS...

MD5算法的编程实现_*南有乔木的博客-程序员ITS203_md5实现

MD5算法的编程实现【实验目的】【实验环境】【实验预备知识点】【实验内容】【实验步骤】【实验思考题】【实验目的】1、理解Hash函数的计算原理和特点。2、理解MD5算法原理。3、了解MD5值的生成过程。【实验环境】windows虚拟机在目录C:\Program Files\Microsoft Visual Studio\MyProjects\MD5下打开MD5.dsw,在VC6.0环境下编译代码。【实验预备知识点】MD5是一种常见的单项散列算法,用以提供消息的完整性保护,计算机界广泛使用的

英语日常口语对话_CZ__的博客-程序员ITS203

日常口语对话第一册一、Greetings 问候语Hello! / Hi! 你好!Good morning / afternoon / evening! 早晨(下午/晚上)好!I’m Kathy King. 我是凯西?金。Are you Peter Smith? 你是彼得?史密斯吗?Yes, I am. / No, I’m not. 是,我是。/ 不,我不是。How are you...

浅析java的退出钩子(Hook)_虾米吃螃蟹的博客-程序员ITS203

钩子作用是啥当你怕退出jvm时中断应用正在处理的任务,从而导致各种问题时。此时钩子就派上了用场。当然你直接拔电源、kill -9再牛逼的机制也不管用了。怎么用public static void main(String[] args) { Runtime.getRuntime().addShutdownHook(new Thread(new Runnable() ...

typescript基础_、Edgar的博客-程序员ITS203

1. 前言TypeScript是Javascript的超集,支持ES6标准,支持类型系统以及类型推断,支持运行在任何浏览器,Node.js环境中2. 环境配置 安装node 安装typescript npm install typescript 安装ts-node npm install ts-node全部安装安全之后运行typescript文件可以使用ts-node xxx.ts 相关命令编译ts文件: tsc xxx.tsts初始化配置文件: tsc -init在ts