神策数据创始人兼CEO桑文锋：大数据分析的四个重要环节-程序员宅基地
本文是神策数据创始人&CEO桑文锋在数据猿联合BitTiger、微软加速器，共同举办的“硅谷之声——大数据技术达人中国行专场”的精彩分享，本文主要围绕了什么是大数据，什么是基于大数据的数据驱动思维，如何具体实现数据驱动等方面。
桑文锋在百度工作了八年，并于两年前成立神策数据，总结了大量经验，见下文。
“用数据说话”是百度的文化之一，百度产品、决策、运营层面的工作，都需要依赖庞大的数据。大众有一个误区——只有数据规模大才需要数据分析。这是片面的。首先需要明确一个概念，什么是大数据？
大家可以从两个层面理解大数据：物理层面和抽象层面。
一、从物理层面来看，可以归结为四个字：大、全、细、时。
第一，“大”强调宏观的“大”，而非物理的“大”。大数据不是一味追求数据量的“大”，比如每天各地级市的苹果价格数据统计只有2MB，但基于此研发出一款苹果智能调度系统，就是一个大数据应用；
第二，“全”强调多种数据源。大数据采集讲求全量，而不是抽样。除了采集客户端数据，还需采集服务端日志、业务数据库，以及第三方服务等数据，全面覆盖。
第三，“细”强调多维度数据采集，即把事件的维度、属性、字段等都进行采集。如电商行业“加入购物车”的事件，除了采集用户的 click 数据，还应采集用户点击的是哪个商品、对应的商户等数据，方便后续交叉分析。
第四，“时”即数据的时效性。可以实时计算、得到反馈结果的数据，显然更有参考价值。
所以，小型创业公司，可以优化数据采集深度，把数据收集的更细、维度更多、时效性更强，同样也可以使用大数据服务进行数据分析。
二、从抽象层面来看，基于大数据的数据驱动思维非常重要。
大数据有如下几个环节：
第一个环节是数据采集。数据规模大导致数据采集本身有很大难度，需要通过多种手段对数据进行大而细的记录。
第二个环节就是数据建模。数据建模最重要的是整理数据，拥有完整有条理的数据表，才能进行进一步的细致分析。
第三个环节是数据分析。在已有数据的基础上进行用户行为分析、用户分群。
第四个环节是指标。对一个产品来说，如何获取新用户？每天增加了多少用户？拉新通过什么渠道？这些问题都需要具体到指标。
图1 数据金字塔
从具体操作的角度来看：
环节一：数据采集数据采集围绕“大、全、细、时”原则，全量采集尽量多维度的信息，保证数据的精细度和时效性，大数据不止体现在大。
“把数据源头的事情做好”，是桑文锋八年百度工作经验得出的最重要的心得。一个良好的数据源基础是成功的一半。如果数据源头不能控制，那么再厉害的分析模型和算法也无法拯救。
数据采集的三种方式：
在产品里通过后台配置，采集数据。这个方式的好处是不需要工程师干预太多，只需要业务人员、产品、运营自助式分析数据。弊端是自动采集手段目前还有很多局限性。许多时候，只能收集到宏观的数据，无法采集一些复杂信息。
通过代码去收集信息，埋入代码，记录数据。大部分的数据都是通过代码采集的。
通过工具采集。许多公司在数据采集方面都存在非常大的问题，比如公司人员的流动造成数据采集的混乱，所以要对数据采集进行监控，在哪些点进行了采集，都采集了什么样的维度，通过的有多少，没有通过的有多少。
另外，需要数据分析师参与到数据管理。在桑文锋创业的过程中，感受到很多公司数据负责人的缺失。数据采集不仅是科学技术上追求高效，也需要懂业务的人才真的把数据采集规范化。
为什么要建一个专业的数据平台呢？三个问题带我们找到答案：
要把数据表用于数据中心。如果把数据库里的表交给业务员、产品经理，他们理解程度有限，更不可能进一步使用。
性能不够。业务数据库的数据结构、数据表处理一般是高频化、小批量的，而数据分析的频次并不是很高，但是它的规模、吞吐量很大，不适用于在传统的数据库中进行处理。
数据不全。业务数据库的数据模型本身只能解决部分问题。数据建模是数据分析的前期准备工作，只有当数据模型易于理解，才能被大家更好地利用起来。还有需要高性能，才能满足数据分析的高速响应需求。互联网领域常用的数据分析模型是多维数据处理模型（OLAP），把数据拆成不同维度或指标。
数据分析可以助力产品改进。在有数据的情况下，产品迭代的工作可以对产品经理的经验有更高的容错率，数据会为产品改进提供强大的数据支持。
图2 产品改进流程对比图
运营监控非常重要，对于一个互联网产品来说，有三件事情很重要：
第一件事情是拉新，如何获取新用户；第二件事情是留存，怎么让这个用户不断地用你的产品；第三件事情是变现，怎么让客户掏钱付费。
一个科学的运营环节，应该分析哪些数据，可以从以下五个方面来看：
第一是触达，怎么让用户知道你；
第二是激活，让用户产生购买行为；
第三是留存，让用户留下来长期使用；
第四是引荐，让用户将产品推荐给其他用户；
第五是营收，让用户掏钱。
图3 运营监控AARRR
如何确定自己需要关心的指标？有两个方法：1.第一关键指标法，2.海盗指标法。
第一关键指标法：找出当前阶段的第一关键指标，衍生出其他指标，通过对子指标的改进达到对关键指标的提升。
海盗指标法：创业公司需要关注五个方面的指标：Acquisition（获取）、Activation（激活）、Retention（留存）、Referral（引荐）、Revenue（营收），简称 AARRR。
智能推荐
绘制电子数码管时间-程序员宅基地
文章浏览阅读16次。
芯片解密STM8S903K3/STM8S003F3破解意法单片机程序提取_stm8s003f3程序提取-程序员宅基地
文章浏览阅读8.8k次。原文地址::http://blog.sina.com.cn/s/blog_148f658a00102vqdd.htmlSTM8S系列芯片解密已成为了热门行业，本工作室长期研究并提供各种型号STM8S系列芯片解密。不仅解密速度快，当天提供芯片解密后的程序，并可提供STM8S系列芯片解密后的反汇编。 ◆芯片简介 意法半导体（ST）再次扩大8位微控制器的产品阵_stm8s003f3程序提取
在 CentOS 1804 中 修改 MySQL 密码策略-程序员宅基地
文章浏览阅读466次。相关链接：在 CentOS 1804 中 使用 yum 安装 MySQL 5.7 最新版在 CentOS 1804 中 安装 MySQL 5.7.20 （或任意MySQL版本）在 CentOS 1804 中 修改 MySQL 密码策略在 CentOS 中 开启 MySQL 的 3306 端口在不打开 MySQL 3306 端口的情况下，使用 Navicat 进项远程连接（使用2...
计算机专业ic设计,ic设计是什么专业_IC设计的设计方法-程序员宅基地
文章浏览阅读2.2k次。ic设计是什么专业IC专业就是集成电路设计专业。集成电路设计，是电子工程学和计算机zhi工程学的一个学科，其主要内容是运用专业的逻辑和电路设计技术设计集成电路(IC)。IC设计涉及硬件软件两方面专业知识。集成电路设计涉及对电子器件(例如晶体管、电阻器、电容器等)、器件间互连线模型的创建。所有的器件和互连线都需安置在一块半导体衬底材料之上，这些组件通过半导体器件制造工艺(例如光刻等)安置在单一的硅衬..._ic设计有哪些方法?
Hadoop集群环境搭建——文件上传_hadoop 图片上传-程序员宅基地
文章浏览阅读2.1k次，点赞4次，收藏18次。实验内容Hadoop由Apache基金会开发的分布式系统基础架构，是利用集群对大量数据进行分布式处理和存储的软件框架。用户可以轻松地在Hadoop集群上开发和运行处理海量数据的应用程序。Hadoop有高可靠，高扩展，高效性，高容错等优点。Hadoop 框架最核心的设计就是HDFS和MapReduce。HDFS为海量的数据提供了存储，MapReduce为海量的数据提供了计算。此外，Hadoop还包括了Hive，Hbase，ZooKeeper，Pig，Avro，Sqoop，Flume，Mahout等项目。（摘_hadoop 图片上传
史上最全Redis面试题及答案-程序员宅基地
文章浏览阅读1w次，点赞7次，收藏93次。在网上看到有关Redis的50道面试题目，但是没有给出答案，之前我也在寻找这份试题的答案，特地把答案分享出来。有需要的可以看看咯花了大量时间整理了这套Redis面试题首发50题，绝无仅有，从入门到精通从基础，高级知识点，再到集群，运维，方案…弄明白了这些题可以说可以成为面霸了面试官都得折服，Redis学得怎么样，都来检验下吧..._redis面试题
随便推点
IDA pro 安装keypatch插件_ida fail to load the dynamic library.-程序员宅基地
文章浏览阅读8.9k次，点赞3次，收藏7次。IDA pro 7.5 安装keypatch插件前言一、安装过程二、出现问题前言本篇记录IDA pro 7.5 安装keypatch插件。缺少相应库，无法加载keypatch插件："fail to load the dynamic library"一、安装过程安装好python环境后，安装 keystone。 (网址：https://www.keystone-engine.org/download/)pip install keystone-engine # 安装pip inst_ida fail to load the dynamic library.
【Unity】绘制阿基米德螺旋线-程序员宅基地
文章浏览阅读2.6w次，点赞9次，收藏23次。阿基米德螺旋线公式： //极坐标方程为: r = a + bθ //平面笛卡尔坐标方程式为: x = (a + bθ)cos(θ), y = (a + bθ)sin(θ) //a: 当θ=0°时的极径(mm) //b: 阿基米德螺旋线系数(mm/°),表示每旋转1度时极径的增加/减小量 //θ: 极角,单位为度,表示阿基米德螺旋线转过的总度数（弧度）......_阿基米德螺旋线
C++贪心算法之均分纸牌_粮食均分c++-程序员宅基地
文章浏览阅读8.3k次，点赞5次，收藏14次。均分纸牌题目描述有 N 堆纸牌，编号分别为 1，2，…, N。每堆上有若干张，但纸牌总数必为 N 的倍数。可以在任一堆上取若于张纸牌，然后移动。移牌规则为：在编号为 1 堆上取的纸牌，只能移到编号为 2 的堆上；在编号为 N 的堆上取的纸牌，只能移到编号为 N-1 的堆上；其他堆上取的纸牌，可以移到相邻左边或右边的堆上。现在要求找出一种移动方法，用最少的移动次数使每堆上纸牌数都一样多。_粮食均分c++
编辑器之战_vi 有两个模式 :“不停地哔哔叫”和“搞砸一切”。-程序员宅基地
文章浏览阅读631次。编辑器之战 是指计算机编程领域内，两类文本编辑器vi（以及衍生版本）和Emacs用户之间的对抗冲突。这已经成为黑客文化和自由软件社区文化的一部分。战火在两群用户之间多次点燃，他们互相蔑视，坚信自己的选择才是最完美的。相比其他的IT领域战争（如浏览器大战、操作系统之争、编程语言之争、代码缩进风格之战)，编辑器的选择其实通常只是个人问题。vi与Emacs的不同vi与Emacs之间最_vi 有两个模式 :“不停地哔哔叫”和“搞砸一切”。
JAVA 实现《坦克大战联机版》游戏_new ().mainpanel-程序员宅基地
文章浏览阅读3w次，点赞47次，收藏64次。坦克大战联机版_new ().mainpanel
python symbols函数_Python的高级特征你知多少？来对比看看-程序员宅基地
文章浏览阅读81次。Python 多好用不用多说，大家看看自己用的语言就知道了。但是 Python 隐藏的高级功能你都 get 了吗？本文中，作者列举了 Python 中五种略高级的特征以及它们的使用方法，快来一探究竟吧！Python 是一种美丽的语言，它简单易用却非常强大。但你真的会用 Python 的所有功能吗？任何编程语言的高级特征通常都是通过大量的使用经验才发现的。比如你在编写一个复杂的项目，并在 stack..._python symbols函数与lambda函数