【数据分析】:什么是数据分析?-程序员宅基地

技术标签: 数据分析入门到实战  数据分析  人工智能  数据挖掘  

【数据分析】:什么是数据分析?


  • 个人主页:JoJo的数据分析历险记
  • 个人介绍:统计学top3研究生
  • 如果文章对你有帮助,欢迎关注点赞收藏订阅专栏
  • 本文收录于【数据分析】本专栏介绍数据分析从入门到项目实战,包含用户分析、留存分析、行业分析 等。本系列会坚持完成下去,请大家多多关注点赞支持,一起学习~,尽量坚持每周持续更新,欢迎大家订阅交流学习!

一、什么是数据分析

随着数据时代的到来,数据分析师、数据科学家等职位越来越热门。纽约时报将数据科学家称为“21世纪最sexy”的职业。我们接下来来看看什么是数据分析。

1.什么是数据?

数据:是科学实验、检验、统计等所获得的用于科学研究、技术设计、查证、决策等的数值。

在企业中,我们每天有大量的数据产生。那么我们怎样使用这些数据呢?

首先,我们的数据有以下三个特性

  • 数据的变异性:正是因为数据的变异性,才需要我们进行数据分析。
  • 数据的规律性: 在海量的数据中,虽然表面看上去杂乱无章,但是往往存在内部的规律性,而数据分析的工作可以来发现这些规律,从而得出相应的结论。
  • 数据的客观性: 数据是通过客观产生的,并不能以我们人的意志转移,正是因为这样,数据分析才是可靠的。

2. 数据可以做什么?

在我们日常生活中,无时无刻不在使用数据。例如:每天的天气预报,就是通过历史的天气等数据信息进行预测。在当今时代,数据越来越重要。得数据者得天下。

那么对于企业运营而言,可以让我们:

  • 1.了解整体的运营情况
  • 2.了解各部门项目的情况
  • 3.未来发展趋势

对于产品开发而言:

  • 对产品定位
  • 广告投放
  • 运营策略

在不同行业有不同的应用:

电商类:电商网站有大量的用户行为数据。例如购买、点击、浏览、完单等。通过这些数据,数据分析师可以了解不同的用户的行为路径,制定相关策略来产生销量

社交类:对于社交网络数据,可以更好的进行精准推荐(推荐算法),可以改善用户服务和体验

医疗类:现在在医疗领域,数据分析也变得越来越重要,对医疗数据进行进行分析,帮助医疗结果改善卫生服务,并提高发现潜在隐患的机会。例如,疾病个性化问答,医疗知识图谱

金融类: 在金融行业,通过对用户的日常交易数据进行分析,可 以帮助信贷机构评判用户的信用等级,确定信贷额度

二、如何成为一个优秀的数据分析师?

数据分析不是一味的跑数据、建模型以及用各种高深的算法来炫技,对于一个好的数据分析师而言,一定要对业务有很好的了解。其次能够熟练的使用各种工具,以及能够有良好的沟通表达能力。

1.业务理解

对业务的理解决定了一个数据分析师的上限

  • 对行业和产品有热情:从事数据分析工作,首先必须要对 进入的行业和产品感兴趣,有好奇 心,愿意学习一切未知的知识
  • 关注对企业业务产生的价值:能够把业务和数据结合起来,尝试用数据量化业务状态和结果,能够 用数据解释潜藏的未被发现的业务逻辑
  • 多问为什么:当分析需求来的时候,要问下为什么要做这个分析,想解决什么问题。不要做无情的取数机器

2.工具使用

技术水平决定了数据分析师的下限

对于数据分析师而言,一定要掌握基本的数据分析工具:excel、Mysql、Tableau、R、Python等

  • 熟练使用各类分析模型和分析方法 :对使用的模型能清楚其优劣势;对没用过的方法能有所了解,在遇到 已有方法解决不了的问题时能够 联想到尝试其他方法是否可以解决
  • 对数据的敏感度,具有良好的统计学基础:能够及时发现数据展现的问题,指出深挖的方向;对数据的理解有很强的逻辑性和科学性
  • 掌握基本的编程语言能力:SQL/Python/R; SQL是基础 ,Python或R可以提升长期工作效 率

3.沟通表达能力

数据分析师总是需要通过说服产品和工程方面来改变产品,产生影响力

  • 能够跨部门高效沟通
  • 良好的数据可视化能力和 撰写分析报告的能力

三、数据分析的四大步骤

数据分析可以大致分为下列四个步骤:

image-20220801083702681

1.数据抓取

数据抓取也被称为数据采集,是整个数据分析工作的起点。所采集和抓取的全不全、 对不对,直接决定数据分析工作的质量,影响后续所有的环节。可能数据分析师不需要自己动手进行数据抓取,但是需要对这些数据进行规划。首先我们来看看在企业内数据的主要来源:

  • 埋点:是针对特定用户行为或事件进行捕获、 处理和发送的相关技术及其实施过程。
  • 爬虫:利用代码模拟人的行为去各个网站抓取数据
  • 程序应用接口:连接各种软件系统,为了能在各系统之间共享数据而开放的技术接口管道

如何规划数据埋点

  • 业务需求拆解,转化为数据要求,要和业务方沟通好统一要求
  • 定义数据口径和指标统计方式。
    • 对各项时间进行分类聚合
    • 确定指标的数值类型、计数方式
    • 4W1H模型选择数据

常见的数据埋点:

  • 点击
  • 曝光
  • 页面停留

下面我们来看一个小案例

京东数据埋点案例:

image-20220801084523001

首先,对业务进行拆解

  • 促销活动:查看用户转化情况
    • 页面访问
    • 领券
    • 查看详情
    • 购买
  • 新人礼包:拉新和留存情况

进行埋点选择

Who:

  • 用户的ID
  • 登录用户和非登录用户
  • 老客和新客
  • VIP和非VIP
  • 活跃和非活跃

what:

  • 点击优惠券
  • 领取优惠券
  • 使用优惠券

when

  • 客户端的时间
  • 服务器的时间(可能会受到海外时差的影响)

where

  • 活动页面

How

  • 设备、网络等

2.数据清洗

数据清洗是数据分析很重要的一环,也是数据分析中占比很大的一部分。要做的是利用有关技术如数理统计、数据挖掘或预定义的清理规则将脏数据转化为满足数据质量要求的数

缺失值数据

  • 根据数据信息补全
  • 特殊值、平均值、统计学模型补全
  • 直接删除(谨慎使用)

格式处理

  • 时间、日期
  • 数据错位

逻辑处理

  • 去重
  • 异常值处理

3.数据分析

数据分析是指通过某种方法和技巧,对准备好 的数据进行探索、分析,从中发现因果关系、 内部联系和业务规律等分析结果,为特定的研 究或商业目的提供参考。

image-20220801085800936

描述性分析(发生了什么?): 描述某项事物的特性。需要准确、完善甚至是实时的数据。

诊断性分析(为什么会发生?) 在对描述性数据进行评估时,诊断分析工具将使分析师能 够深入到细分的数据,从而隔离出问题的根本原因。

思考题:为什么6月份京东电商平台的订单量激增?从哪些角度去分 析?需要哪些数据?

  • 1.618活动

  • 2.流量的变化情况

  • 3.转换率的购买情况

  • 4.用户的购买频次

  • 5.爆款商品

预测性分析(将会发生什么) 对数据特征和变量的关系进行描述,基于过去的数据对未来进行预测。

规范性分析(需要做什么?) 规范模型利用对发生的事情的理解,为什么发生了这种情 况以及各种“可能发生的”分析,以帮助用户确定采取的最佳行动方案

4.业务决策

数据分析师总是需要通过说服产品和工程方面来改变产品,产生影响力

清洗的可视化和完整的报告分析: 能够把分析结果变得直观、简单、易理解;分析报告全面、有逻辑、经得住推敲;分析结论可靠、可验证

  • 要保证图表的可信性:一定要是客观的
  • 高效传达信息
  • 符合美学原则

推动产品按数据分析的结 论进行修正、落地:数据分析师总是需要通过说服产品和工程方面来改变产品,产生影响力。

撰写数据分析报告的要求

分析报告一般可以分为专题分析报告、综合分析报告和日常数据通报。

基本要求如下:

  • 介绍分析背景和分析目的
  • 说明数据来源、数据的时间区间和统计口径,如日活的定义:究竟是登录算活跃还是点击等
  • 分析逻辑清晰,可采用金字塔结构、总分总结构等
  • 既要给出结论,也要给出解决方案

数据分析的框架

  • 分析背景:简述分析或者报告的背景,为什么做,目的是什么,明 确分析报告要回答的问题
  • 名词解释:关键性指标定义是什么,为什么这么定义
  • 数据获取方法: 数据获取的时间区间,怎么获取到的数据,会有哪 些问题
  • 数据概览:重要指标的趋势,变化情况 (数据通报)
  • 数据分析:拆分问题,使用数据支撑结论
  • 结论汇总:汇总之前数据分析的主要结论,作为概览
  • 给出建议:根据数据分析的结论,给出改进建议
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_45052363/article/details/126103680

智能推荐

Android Studio一个项目引入另一个项目作为依赖Libary(富文本编辑器版本)_android 如果引用一个项目作为lib-程序员宅基地

文章浏览阅读975次。文章目录一、源码,详见地址二、实践篇1、导入依赖项目​2、配置添加依赖项目3、把依赖项目设置为兼容的library(错误解决)声明:本教程不收取任何费用,欢迎转载,尊重作者劳动成果,不得用于商业用途,侵权必究!!!大概是在去年12月份写了一篇这样的文章,最近参照来看发现看的有些费劲,因为当时用的Markdown编辑器所以编辑和排版都相对比较麻烦不好观看,所以决定重新写一..._android 如果引用一个项目作为lib

Quartz_quartz毕设参考文献-程序员宅基地

文章浏览阅读97次。这里是修真院后端小课堂,每篇分享文从八个方面深度解析后端知识/技能,本篇分享的是:【Quartz】【修真院Java小课堂】任务调度-Quartz开场语:大家好,我是IT修真院北京分院第32期的学员廖友,一枚正直纯洁善良的Java程序员,今天给大家分享一下,修真院官网Java任务十中的知识点——任务调度-Quartz一、背景介绍:1、任务调度概念任务调度是指基于给定时间点,给定时间间..._quartz毕设参考文献

linux系统下无法用SecureCRT及putty工具远程登录系统方法-程序员宅基地

文章浏览阅读191次。一般情况下,我们安装好了linux系统,都希望通过工具能够进行远程管理,这样可以方便许多,但是有时候却无法通过这些工具连接,主要是由于我们没有安装远程的服务,如ssh及telnet这2个服务!命令方式安装:sudo apt-get install ssh 安装telnet方法:sudo apt-get install telnet Telnet..._linux不能通过工具访问远程

The server time zone value '�й���׼ʱ��' is unrecognized or represents more than one time zone. You mu-程序员宅基地

文章浏览阅读174次。在做springboot连接数据库时:方案1:在项目代码-数据库连接URL后,加上 (注意大小写必须一致)?serverTimezone=UTC方案2:在mysql中设置时区,默认为SYSTEM set global time_zone='+8:00'错误原因:使用了Mysql Connector/J 6.x以上的版本,然set global time_zone='+8:0...

解决经过zuul网关,文件上传失败问题_zuul网关 file not allowed to upload!-程序员宅基地

文章浏览阅读4.1k次。在Spring Cloud Zuul中,Zuul本身有几个核心过滤器源码如下:其中 ServletDetectionFilter优先级最高 为-3 ,所以最先执行,这个核心过滤器只是做了一个判断当前请求是通过Spring的DispatcherServlet处理运行,还是通过ZuulServlet来处理运行,并把结果放回上下文中。一般般情况下,发送到API网关的外部请求都会被Spring..._zuul网关 file not allowed to upload!

使用Python 进行串口通信过程记录——PySerial安装_phthon 脱机安装串口模块-程序员宅基地

文章浏览阅读3.6k次。该文章的前提是已安装Python(楼主安装版本为64bit的3.7版本),使用PySerial模块,该模块安装前可先安装pip(推荐安装,还可以用于安装其他模块,使用方便)一、安装PIP1、下载安装包,地址为:https://pypi.org/project/pip/#files2、下载完成后将其解压到python目录下:随后,cmd进入该目录下,并进入到pip-19.0..._phthon 脱机安装串口模块

随便推点

在python moviepy中编辑后的视频没有声音的解决方案_moviepy 音频不加载-程序员宅基地

文章浏览阅读3.2k次。据说是mac下才会发生,其实不是的,和播放器的音频解码方式有关,大家在调用write_videofile函数时加上参数audio_codec="aac",改变下声道编码即可_moviepy 音频不加载

无法打开文件MSVCRTD.lib VS2017_无法打开文件“msvcrtd.lib”-程序员宅基地

文章浏览阅读1.9k次。_无法打开文件“msvcrtd.lib”

完善动态so加载库-程序员宅基地

文章浏览阅读96次。以上代码包括实验代码,都能在这里找到SillyBoy作者:Pika链接:https://juejin.cn/post/7227029203656867899来源:稀土掘金著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。_动态so

OPENSSL之计算SHA1散列值_基于openssl实现sha1算法哈希运算-程序员宅基地

文章浏览阅读1k次。今天遇到了sha的相关函数的应用,随手收集了点有用的资料,以后在看。。。。。。。HA1散列函数是很常用的散列函数,它产生160bit(20字节)长度的散列值。今天,我就来介绍利用OpenSSL现成的API来计算数据的SHA1散列值。先来看OpenSSL的相关API声明: #include unsigned char *SHA_基于openssl实现sha1算法哈希运算

【Unity 24】Unity中的向量点乘和叉乘的应用_3d游戏中向量叉乘-程序员宅基地

文章浏览阅读4.6k次,点赞10次,收藏32次。PS:本系列笔记将会记录我此次在北京学习Unity开发的总体过程,方便后期写总结,笔记为日更。笔记内容均为 自己理解,不保证每个都对点乘求角度,叉乘求方向比如敌人再附近,点乘可以求出玩家面朝方向和敌人方向的夹角,叉乘可以得出左转还是右转更好的转向敌人Part 1 点乘:数学上的 点乘为 a * b = |a| * |b| * cos(Θ) Unity中的点乘也是如此 点乘结果为 ..._3d游戏中向量叉乘

poj 3468 A Simple Problem with Integers(线段树)(第二部分 成段更新,区间求和)-程序员宅基地

文章浏览阅读262次。题目链接:http://poj.org/problem?id=3468题目大意:给出n个数的数值Q是对区间a,b的求和C是对区间a,b内的所有数都加上c思路:成段更新,需要用到延迟标记(或者说懒惰标记),简单来说就是每次更新的时候不要更新到底,用延迟标记使得更新延迟到下次需要更新or询问到的时候#include#include#include#include#inc

推荐文章

热门文章

相关标签