通过女票的淘宝历程，讲解大数据分工-程序员宅基地
作者 | 无精疯
来源 | 首发自订阅号「大数据肌肉猿」
一、写作背景
二、开始淘宝
2.1 推荐系统（导购员）
2.2 大数据平台开发（店里监控布局）
2.3 实时计算（收银员）
2.4 数据仓库（储物间）
2.5 数据分析（店长）
2.6 离线计算（会计）
2.7 数据挖掘（精算师）
三、总结
一、写作背景
1.总跟女票说我是做大数据的，女票也跟她朋友说我是做大数据的，但一问是啥，我跟我女票解释了半天她都没听懂，她也不知道怎么跟她朋友说。最好的解决方法是换女票，当然这是不存在的，想都不会想也不敢想。于是乎说写篇她看完也能知道大数据的文章给她。
2.我的知识星球里很多伙伴都问了诸如此类的问题（一笔概括，证明女票是多么重要，滑稽脸）
3.下次要是有人问你大数据开发是什么，希望你能把这篇文章分享给他。
二、开始淘宝
2.1 推荐系统（导购员）
一打开女票的手机淘宝页面，就发现推荐栏叫我女票换包。
推荐商品栏以及热搜和搜索框中的内容，都是根据你定制的。你最近经常搜的物品和浏览的东西都被记录起来，然后被贴上标签。像我女票应该是被贴上「小仙女」、「时尚」、「少女」等标签，下次的女神节，情人节等节日活动的对象就是他们。
这个就是大数据中的推荐系统，专门猜你喜欢，类似导购，提高你的购买率。
2.2 大数据平台开发（店里监控布局）
那么数据是怎么被记录的？被记录的又是什么数据？
你的昵称，设备IP，浏览的足迹，每个商品停留的时间，浏览的时间段都是后台要采集的数据。
首先我们搭建一个平台，专门去定制收集数据的手段以及采取的策略和存放这些数据的地方，这就是大数据平台的搭建。类似你在你店里布置了监控探头，录音等设备，然后有其他店员通过这些设备帮你观察消费者的言行举止等等行为。
2.3 实时计算（收银员）
当你在浏览商品的时候，你会发现旁边会有实时的推荐，如下图：
这是因为你在浏览商品的过程中数据不断被收集，然后被投放到上述的推荐系统中。但是那些用户名，商品等信息不一定都是规则的，有可能是数字，有可能是符号。所以我们这边要有一个程序员，专门负责实时的处理这些数据，把这些数据处理成有规则的，并存储到数据仓库中。至于为什么这样做，下面会解释。
这个过程就是大数据的实时计算，它具有时效性，就是不能停，立刻马上做出响应的。把它比喻成收银员就是为了突出实时，别人要结账你得立即做出响应。
2.4 数据仓库（储物间）
前面提到了数据仓库，顾名思义，存储数据的仓库。在我们一些工厂或者企业的仓库里，我们通常都会按循序、分类放好我们的物品，要制定规则，哪些能放，哪些不能放，哪些需要处理之后才能放。比如说你要放一个柜子，可能不能放，但你如果把它拆成木板就可以放，等要用的时候要拿这些木板去组装就行。
所以才有上述的实时计算，因为它要遵守数据仓库管理员制定的规则，将数据按照规格处理好才能进行存放。
2.5 数据分析（店长）
当你从淘宝给你推荐的商品挑选出你喜欢的之后，点击直接购买并付款。淘宝系统会生成一条你订单的数据到数据库里面，上面会有你的收件地址、联系方式、商品信息、数量等。
而这些数据有什么用呢？你可能会想说，留底当凭证啊。对的，不过不止这个作用。
举个例子：马云开会说：我要看一下这十年的内衣销售明细，各个地区的销售情况。这时候有个部门就要去整理出这些报表了，那就是数据分析部门，他们要从海量的数据中去分析这些指标，并整理成报表给马老板看。
马老板看了这些数据之后，得出一个结论：「浙江女性胸部全国最小」。然后呢？肯定是以后往浙江多进一些小码的内衣，以增加销售量，然后可能再顺带卖点木瓜什么的。
这就是数据分析带来的好处，为我们公司的高层提供决策上的支持。
2.6 离线计算（会计）
不对啊，十年的数据量，能说查就查吗？数据量得多大啊！没错，不可能说要什么数据立马就能查出来的。最理想的方案就是：当天结束就计算当天的指标，把销售额，地址什么的统计好，然后每星期再统计一下，每个月再统计一下，以此类推。那算十年不就分分钟的事？
对的，那这些事情谁来做呢？当然是我们离线计算工程师。离线计算顾名思义，实时计算的对立方，我们做的是幕后工作。可以将实时计算工程师想象为收银员，每个顾客买单时都得结账并打印发票什么的，不能拖延。离线计算则是会计，每天下班之后看着账单点数，看看今天哪些东西各卖多少。可以慢悠悠地算一个晚上，数据对就行，没人在乎你算了多久。
2.7 数据挖掘（精算师）
那这些处理好的数据不能光存着啊，得挖掘出它的价值。没错，根据这些订单数据，我们能推测出未来商品的一个销售走势，哪个地区需要投放哪些商品，这就是数据挖掘。数据挖掘相当于我们企业的精算师顾问，他会从你已有的数据去分析你之后的走势，给你提供一些有价值可供参考的建议。
我们要给数据挖掘系统投放有价值的数据，它类似我们人脑，输入的数据越有价值和参考性，预测的结果越准，否则只会误导。
三、总结
好了，通过以上步骤，淘宝更懂我女朋友了，它会推送更多符合我女票的胃口的商品，然后下单之后的数据会帮助那些商家投放更多种类的商品到该地区，选择更多了，我女朋友也更喜欢在淘宝购物了。
如何置顶、标星公众号？
推荐阅读
1.
2.
3.
4.
智能推荐
攻防世界_难度8_happy_puzzle_攻防世界困难模式攻略图文-程序员宅基地
文章浏览阅读645次。这个肯定是末尾的IDAT了，因为IDAT必须要满了才会开始一下个IDAT，这个明显就是末尾的IDAT了。，对应下面的create_head()代码。，对应下面的create_tail()代码。不要考虑爆破，我已经试了一下，太多情况了。题目来源：UNCTF。_攻防世界困难模式攻略图文
达梦数据库的导出（备份）、导入_达梦数据库导入导出-程序员宅基地
文章浏览阅读2.9k次，点赞3次，收藏10次。偶尔会用到，记录、分享。1. 数据库导出1.1 切换到dmdba用户su - dmdba1.2 进入达梦数据库安装路径的bin目录，执行导库操作 导出语句：./dexp cwy_init/[email protected]:5236 file=cwy_init.dmp log=cwy_init_exp.log 注释： cwy_init/init_123..._达梦数据库导入导出
js引入kindeditor富文本编辑器的使用_kindeditor.js-程序员宅基地
文章浏览阅读1.9k次。1. 在官网上下载KindEditor文件，可以删掉不需要要到的jsp，asp，asp.net和php文件夹。接着把文件夹放到项目文件目录下。2. 修改html文件，在页面引入js文件：<script type="text/javascript" src="./kindeditor/kindeditor-all.js"></script><script type="text/javascript" src="./kindeditor/lang/zh-CN.js"_kindeditor.js
STM32学习过程记录11——基于STM32G431CBU6硬件SPI+DMA的高效WS2812B控制方法-程序员宅基地
文章浏览阅读2.3k次，点赞6次，收藏14次。SPI的详情简介不必赘述。假设我们通过SPI发送0xAA，我们的数据线就会变为10101010，通过修改不同的内容，即可修改SPI中0和1的持续时间。比如0xF0即为前半周期为高电平，后半周期为低电平的状态。在SPI的通信模式中，CPHA配置会影响该实验，下图展示了不同采样位置的SPI时序图[1]。CPOL = 0，CPHA = 1：CLK空闲状态 = 低电平，数据在下降沿采样，并在上升沿移出CPOL = 0，CPHA = 0：CLK空闲状态 = 低电平，数据在上升沿采样，并在下降沿移出。_stm32g431cbu6
计算机网络-数据链路层_接收方收到链路层数据后,使用crc检验后,余数为0,说明链路层的传输时可靠传输-程序员宅基地
文章浏览阅读1.2k次，点赞2次，收藏8次。数据链路层习题自测问题1.数据链路(即逻辑链路)与链路(即物理链路)有何区别?“电路接通了”与”数据链路接通了”的区别何在?2.数据链路层中的链路控制包括哪些功能?试讨论数据链路层做成可靠的链路层有哪些优点和缺点。3.网络适配器的作用是什么?网络适配器工作在哪一层?4.数据链路层的三个基本问题(帧定界、透明传输和差错检测)为什么都必须加以解决？5.如果在数据链路层不进行帧定界，会发生什么问题？6.PPP协议的主要特点是什么？为什么PPP不使用帧的编号？PPP适用于什么情况？为什么PPP协议不_接收方收到链路层数据后,使用crc检验后,余数为0,说明链路层的传输时可靠传输
软件测试工程师移民加拿大_无证移民，未受过软件工程师的教育（第1部分）-程序员宅基地
文章浏览阅读587次。软件测试工程师移民加拿大 无证移民，未受过软件工程师的教育(第1部分) (Undocumented Immigrant With No Education to Software Engineer(Part 1))Before I start, I want you to please bear with me on the way I write, I have very little gen...
随便推点
Thinkpad X250 secure boot failed 启动失败问题解决_安装完系统提示secureboot failure-程序员宅基地
文章浏览阅读304次。Thinkpad X250笔记本电脑，装的是FreeBSD，进入BIOS修改虚拟化配置（其后可能是误设置了安全开机），保存退出后系统无法启动，显示：secure boot failed ，把自己惊出一身冷汗，因为这台笔记本刚好还没开始做备份.....根据错误提示，到bios里面去找相关配置，在Security里面找到了Secure Boot选项，发现果然被设置为Enabled，将其修改为Disabled ，再开机，终于正常启动了。_安装完系统提示secureboot failure
C++如何做字符串分割（5种方法）_c++ 字符串分割-程序员宅基地
文章浏览阅读10w+次，点赞93次，收藏352次。1、用strtok函数进行字符串分割原型： char *strtok(char *str, const char *delim);功能：分解字符串为一组字符串。参数说明：str为要分解的字符串，delim为分隔符字符串。返回值：从str开头开始的一个个被分割的串。当没有被分割的串时则返回NULL。其它：strtok函数线程不安全，可以使用strtok_r替代。示例：//借助strtok实现split#include <string.h>#include <stdio.h&_c++ 字符串分割
2013第四届蓝桥杯 C/C++本科A组 真题答案解析_2013年第四届c a组蓝桥杯省赛真题解答-程序员宅基地
文章浏览阅读2.3k次。1 .高斯日记 大数学家高斯有个好习惯：无论如何都要记日记。他的日记有个与众不同的地方，他从不注明年月日，而是用一个整数代替，比如：4210后来人们知道，那个整数就是日期，它表示那一天是高斯出生后的第几天。这或许也是个好习惯，它时时刻刻提醒着主人：日子又过去一天，还有多少时光可以用于浪费呢？高斯出生于：1777年4月30日。在高斯发现的一个重要定理的日记_2013年第四届c a组蓝桥杯省赛真题解答
基于供需算法优化的核极限学习机(KELM)分类算法-程序员宅基地
文章浏览阅读851次，点赞17次，收藏22次。摘要：本文利用供需算法对核极限学习机(KELM)进行优化，并用于分类。
metasploitable2渗透测试_metasploitable2怎么进入-程序员宅基地
文章浏览阅读1.1k次。一、系统弱密码登录1、在kali上执行命令行telnet 192.168.26.1292、Login和password都输入msfadmin3、登录成功，进入系统4、测试如下：二、MySQL弱密码登录：1、在kali上执行mysql –h 192.168.26.129 –u root2、登录成功，进入MySQL系统3、测试效果：三、PostgreSQL弱密码登录1、在Kali上执行psql -h 192.168.26.129 –U post..._metasploitable2怎么进入
Python学习之路：从入门到精通的指南_python人工智能开发从入门到精通pdf-程序员宅基地
文章浏览阅读257次。本文将为初学者提供Python学习的详细指南，从Python的历史、基础语法和数据类型到面向对象编程、模块和库的使用。通过本文，您将能够掌握Python编程的核心概念，为今后的编程学习和实践打下坚实基础。_python人工智能开发从入门到精通pdf