神策数据创始人兼CEO桑文锋：大数据分析的四个重要环节-程序员宅基地
本文是神策数据创始人&CEO桑文锋在数据猿联合BitTiger、微软加速器，共同举办的“硅谷之声——大数据技术达人中国行专场”的精彩分享，本文主要围绕了什么是大数据，什么是基于大数据的数据驱动思维，如何具体实现数据驱动等方面。
桑文锋在百度工作了八年，并于两年前成立神策数据，总结了大量经验，见下文。
“用数据说话”是百度的文化之一，百度产品、决策、运营层面的工作，都需要依赖庞大的数据。大众有一个误区——只有数据规模大才需要数据分析。这是片面的。首先需要明确一个概念，什么是大数据？
大家可以从两个层面理解大数据：物理层面和抽象层面。
一、从物理层面来看，可以归结为四个字：大、全、细、时。
第一，“大”强调宏观的“大”，而非物理的“大”。大数据不是一味追求数据量的“大”，比如每天各地级市的苹果价格数据统计只有2MB，但基于此研发出一款苹果智能调度系统，就是一个大数据应用；
第二，“全”强调多种数据源。大数据采集讲求全量，而不是抽样。除了采集客户端数据，还需采集服务端日志、业务数据库，以及第三方服务等数据，全面覆盖。
第三，“细”强调多维度数据采集，即把事件的维度、属性、字段等都进行采集。如电商行业“加入购物车”的事件，除了采集用户的 click 数据，还应采集用户点击的是哪个商品、对应的商户等数据，方便后续交叉分析。
第四，“时”即数据的时效性。可以实时计算、得到反馈结果的数据，显然更有参考价值。
所以，小型创业公司，可以优化数据采集深度，把数据收集的更细、维度更多、时效性更强，同样也可以使用大数据服务进行数据分析。
二、从抽象层面来看，基于大数据的数据驱动思维非常重要。
大数据有如下几个环节：
第一个环节是数据采集。数据规模大导致数据采集本身有很大难度，需要通过多种手段对数据进行大而细的记录。
第二个环节就是数据建模。数据建模最重要的是整理数据，拥有完整有条理的数据表，才能进行进一步的细致分析。
第三个环节是数据分析。在已有数据的基础上进行用户行为分析、用户分群。
第四个环节是指标。对一个产品来说，如何获取新用户？每天增加了多少用户？拉新通过什么渠道？这些问题都需要具体到指标。
图1 数据金字塔
从具体操作的角度来看：
环节一：数据采集数据采集围绕“大、全、细、时”原则，全量采集尽量多维度的信息，保证数据的精细度和时效性，大数据不止体现在大。
“把数据源头的事情做好”，是桑文锋八年百度工作经验得出的最重要的心得。一个良好的数据源基础是成功的一半。如果数据源头不能控制，那么再厉害的分析模型和算法也无法拯救。
数据采集的三种方式：
在产品里通过后台配置，采集数据。这个方式的好处是不需要工程师干预太多，只需要业务人员、产品、运营自助式分析数据。弊端是自动采集手段目前还有很多局限性。许多时候，只能收集到宏观的数据，无法采集一些复杂信息。
通过代码去收集信息，埋入代码，记录数据。大部分的数据都是通过代码采集的。
通过工具采集。许多公司在数据采集方面都存在非常大的问题，比如公司人员的流动造成数据采集的混乱，所以要对数据采集进行监控，在哪些点进行了采集，都采集了什么样的维度，通过的有多少，没有通过的有多少。
另外，需要数据分析师参与到数据管理。在桑文锋创业的过程中，感受到很多公司数据负责人的缺失。数据采集不仅是科学技术上追求高效，也需要懂业务的人才真的把数据采集规范化。
为什么要建一个专业的数据平台呢？三个问题带我们找到答案：
要把数据表用于数据中心。如果把数据库里的表交给业务员、产品经理，他们理解程度有限，更不可能进一步使用。
性能不够。业务数据库的数据结构、数据表处理一般是高频化、小批量的，而数据分析的频次并不是很高，但是它的规模、吞吐量很大，不适用于在传统的数据库中进行处理。
数据不全。业务数据库的数据模型本身只能解决部分问题。数据建模是数据分析的前期准备工作，只有当数据模型易于理解，才能被大家更好地利用起来。还有需要高性能，才能满足数据分析的高速响应需求。互联网领域常用的数据分析模型是多维数据处理模型（OLAP），把数据拆成不同维度或指标。
数据分析可以助力产品改进。在有数据的情况下，产品迭代的工作可以对产品经理的经验有更高的容错率，数据会为产品改进提供强大的数据支持。
图2 产品改进流程对比图
运营监控非常重要，对于一个互联网产品来说，有三件事情很重要：
第一件事情是拉新，如何获取新用户；第二件事情是留存，怎么让这个用户不断地用你的产品；第三件事情是变现，怎么让客户掏钱付费。
一个科学的运营环节，应该分析哪些数据，可以从以下五个方面来看：
第一是触达，怎么让用户知道你；
第二是激活，让用户产生购买行为；
第三是留存，让用户留下来长期使用；
第四是引荐，让用户将产品推荐给其他用户；
第五是营收，让用户掏钱。
图3 运营监控AARRR
如何确定自己需要关心的指标？有两个方法：1.第一关键指标法，2.海盗指标法。
第一关键指标法：找出当前阶段的第一关键指标，衍生出其他指标，通过对子指标的改进达到对关键指标的提升。
海盗指标法：创业公司需要关注五个方面的指标：Acquisition（获取）、Activation（激活）、Retention（留存）、Referral（引荐）、Revenue（营收），简称 AARRR。
智能推荐
从零开始搭建Hadoop_创建一个hadoop项目-程序员宅基地
文章浏览阅读331次。第一部分：准备工作1 安装虚拟机2 安装centos73 安装JDK以上三步是准备工作，至此已经完成一台已安装JDK的主机第二部分：准备３台虚拟机以下所有工作最好都在root权限下操作1 克隆上面已经有一台虚拟机了,现在对master进行克隆,克隆出另外2台子机;1.1 进行克隆21.2 下一步1.3 下一步1.4 下一步1.5 根据子机需要,命名和安装路径1.6 ..._创建一个hadoop项目
心脏滴血漏洞HeartBleed CVE-2014-0160深入代码层面的分析_heartbleed代码分析-程序员宅基地
文章浏览阅读1.7k次。心脏滴血漏洞HeartBleed CVE-2014-0160 是由heartbeat功能引入的，本文从深入码层面的分析该漏洞产生的原因_heartbleed代码分析
java读取ofd文档内容_ofd电子文档内容分析工具（分析文档、签章和证书）-程序员宅基地
文章浏览阅读1.4k次。前言ofd是国家文档标准，其对标的文档格式是pdf。ofd文档是容器格式文件，ofd其实就是压缩包。将ofd文件后缀改为.zip，解压后可看到文件包含的内容。ofd文件分析工具下载：点我下载。ofd文件解压后，可以看到如下内容： 对于xml文件，可以用文本工具查看。但是对于印章文件(Seal.esl)、签名文件(SignedValue.dat)就无法查看其内容了。本人开发一款ofd内容查看器，..._signedvalue.dat
基于FPGA的数据采集系统（一）_基于fpga的信息采集-程序员宅基地
文章浏览阅读1.8w次，点赞29次，收藏313次。整体系统设计本设计主要是对ADC和DAC的使用，主要实现功能流程为：首先通过串口向FPGA发送控制信号，控制DAC芯片tlv5618进行DA装换，转换的数据存在ROM中，转换开始时读取ROM中数据进行读取转换。其次用按键控制adc128s052进行模数转换100次，模数转换数据存储到FIFO中，再从FIFO中读取数据通过串口输出显示在pc上。其整体系统框图如下：图1：FPGA数据采集系统框图从图中可以看出，该系统主要包括9个模块：串口接收模块、按键消抖模块、按键控制模块、ROM模块、D.._基于fpga的信息采集
微服务 spring cloud zuul com.netflix.zuul.exception.ZuulException GENERAL-程序员宅基地
文章浏览阅读2.5w次。1.背景错误信息：-- [http-nio-9904-exec-5] o.s.c.n.z.filters.post.SendErrorFilter : Error during filteringcom.netflix.zuul.exception.ZuulException: Forwarding error at org.springframework.cloud..._com.netflix.zuul.exception.zuulexception
邻接矩阵-建立图-程序员宅基地
文章浏览阅读358次。1.介绍图的相关概念 图是由顶点的有穷非空集和一个描述顶点之间关系-边（或者弧）的集合组成。通常，图中的数据元素被称为顶点，顶点间的关系用边表示，图通常用字母G表示，图的顶点通常用字母V表示，所以图可以定义为: G=(V,E)其中，V(G)是图中顶点的有穷非空集合，E(G)是V(G)中顶点的边的有穷集合1.1 无向图：图中任意两个顶点构成的边是没有方向的1.2 有向图：图中..._给定一个邻接矩阵未必能够造出一个图
随便推点
MDT2012部署系列之11 WDS安装与配置-程序员宅基地
文章浏览阅读321次。（十二）、WDS服务器安装通过前面的测试我们会发现，每次安装的时候需要加域光盘映像，这是一个比较麻烦的事情，试想一个上万个的公司，你天天带着一个光盘与光驱去给别人装系统，这将是一个多么痛苦的事情啊，有什么方法可以解决这个问题了？答案是肯定的，下面我们就来简单说一下。WDS服务器，它是Windows自带的一个免费的基于系统本身角色的一个功能，它主要提供一种简单、安全的通过网络快速、远程将Window..._doc server2012上通过wds+mdt无人值守部署win11系统.doc
python--xlrd/xlwt/xlutils_xlutils模块可以读xlsx吗-程序员宅基地
文章浏览阅读219次。python–xlrd/xlwt/xlutilsxlrd只能读取，不能改,支持 xlsx和xls 格式xlwt只能改，不能读xlwt只能保存为.xls格式xlutils能将xlrd.Book转为xlwt.Workbook，从而得以在现有xls的基础上修改数据，并创建一个新的xls，实现修改xlrd打开文件import xlrdexcel=xlrd.open_workbook('E:/test.xlsx') 返回值为xlrd.book.Book对象,不能修改获取sheett_xlutils模块可以读xlsx吗
关于新版本selenium定位元素报错：‘WebDriver‘ object has no attribute ‘find_element_by_id‘等问题_unresolved attribute reference 'find_element_by_id-程序员宅基地
文章浏览阅读8.2w次，点赞267次，收藏656次。运行Selenium出现'WebDriver' object has no attribute 'find_element_by_id'或AttributeError: 'WebDriver' object has no attribute 'find_element_by_xpath'等定位元素代码错误，是因为selenium更新到了新的版本，以前的一些语法经过改动。..............._unresolved attribute reference 'find_element_by_id' for class 'webdriver
DOM对象转换成jQuery对象转换与子页面获取父页面DOM对象-程序员宅基地
文章浏览阅读198次。一：模态窗口//父页面JSwindow.showModalDialog(ifrmehref, window, 'dialogWidth:550px;dialogHeight:150px;help:no;resizable:no;status:no');//子页面获取父页面DOM对象//window.showModalDialog的DOM对象var v=parentWin..._jquery获取父window下的dom对象
什么是算法？-程序员宅基地
文章浏览阅读1.7w次，点赞15次，收藏129次。算法（algorithm）是解决一系列问题的清晰指令，也就是，能对一定规范的输入，在有限的时间内获得所要求的输出。 简单来说，算法就是解决一个问题的具体方法和步骤。算法是程序的灵 魂。二、算法的特征1.可行性 算法中执行的任何计算步骤都可以分解为基本可执行的操作步，即每个计算步都可以在有限时间里完成（也称之为有效性） 算法的每一步都要有确切的意义，不能有二义性。例如“增加x的值”，并没有说增加多少，计算机就无法执行明确的运算。 _算法
【网络安全】网络安全的标准和规范_网络安全标准规范-程序员宅基地
文章浏览阅读1.5k次，点赞18次，收藏26次。网络安全的标准和规范是网络安全领域的重要组成部分。它们为网络安全提供了技术依据，规定了网络安全的技术要求和操作方式，帮助我们构建安全的网络环境。下面，我们将详细介绍一些主要的网络安全标准和规范，以及它们在实际操作中的应用。_网络安全标准规范