Hadoop大数据实战权威指南_《hadoop大数据实战权威指南》-程序员宅基地

技术标签: 破万卷  

第一篇 大数据的基本概念和技术

第1章 绪论
第2章 Hadoop大数据关键技术

第二篇 Hadoop大数据平台搭建与基础应用

第3章 Linux操作系统与集群搭建
第4章 HDFS安装与基本应用
第5章 MapReduce与YARN
第6章 Hive和HBase的安装和应用
第7章 Sqoop和Kafka
第8章 Spark集群安装与开发环境配置
第9章 Spark应用基础

第三篇 大数据处理与项目开发

第10章 交互式数据处理

10.1 数据预处理

10.1.1 查看数据

less
wc -l
head

10.1.2 数据扩展

增加年、月、日、小时

10.1.3 数据过滤

字段为空

10.1.4 数据上传

hadoop fs -mkdir -p
hadoop fs -ls
hadoop fs -put

10.2 创建数据仓库

10.2.1 基本命令
10.2.2 分区表

10.3 数据分析

10.3.1 基本统计

count(*)
count(distinct (uid))
avg()
sum(if(uids=2,1,0))
group by
order by desc
limit 数量
having cnt > 2

10.3.2 用户行为分析

where rank < 11

10.3.3 实时数据

第11章 协同过滤推荐系统

推荐算法
人口统计学、内容、协同过滤
基于用户和基于物品

第12章 销售数据分析系统

12.1 数据采集

12.2 数据存储

MySQL -Sqoop-> HBase
import Tsv

12.3 数据计算

关键点1:
列式存储&基于KV的查询
关键点2:
Phoenix 中间件 - 构建在HBase上的一个SQL层

12.4 数据分析和展示

仪表盘 - 电商平台数、收集总量、数据总条数
饼图 - 评论来源
曲线 - 用户会员等级和销售倾向性
直方图 - 用户购买 印象
地理信息 - 京东产品地区销售来源

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/hezuijiudexiaobai/article/details/117747395

智能推荐

全新好用的窗口置顶工具WindowTop-程序员宅基地

文章浏览阅读3.5k次。全局快捷键功能可以配置窗口置顶,透明,穿透,画中画,截图等功能,而鼠标快捷键操作可以配置在对应窗口连续点击执行置顶窗口,窗口移动,最大化,最小化等操作。打开WindowTop软件,所有已打开的窗口都会在左上角出现一个置顶栏,点击置顶栏的置顶复选框即可置顶窗口或取消窗口。输入法提示功能可以在置顶栏实时显示输入法的状态,又或者以独立的小窗口显示。屏幕截图,窗口截图,支持自由编辑画图,并能将截图以贴图的方式贴在屏幕上。可改变置顶栏的外观,还可以自由拖动置顶栏到想要的位置。_windowtop

felx的使用_felx: 0 0 0-程序员宅基地

文章浏览阅读246次。flex的使用Flex 布局是什么?Flex 是 Flexible Box 的缩写,意为"弹性布局",用来为盒状模型提供最大的灵活性。任何一个容器都可以指定为 Flex 布局。.box{ display: flex;}行内元素也可以使用 Flex 布局。.box{ display: inline-flex;}Webkit 内核的浏览器,必须加上-webkit前缀。.box{ display: -webkit-flex; /* Safari */ display: f_felx: 0 0 0

Junit单元测试_timed out after 500 milliseconds-程序员宅基地

文章浏览阅读353次。Junit是干什么的我在这里就不讲解了。直接开始正题。常用的注解Junit中的注解很多,我们首先来看一下最常用的一些注解 - @Test:把一个方法标记未测试方法 - excepted:用来测试异常的,方法抛出该异常说明测试成功 - timeout:用来测试性能的,在规定的时间内完成,说明成功。注意单位是毫秒 - @Before:每个测试方法执行前自动调用一次_timed out after 500 milliseconds

python和c十十区别_C语言和python的区别-程序员宅基地

文章浏览阅读464次。Python可以说是目前最火的语言之一了,人工智能的兴起让Python一夜之间变得家喻户晓,Python号称目前最最简单易学的语言,现在有不少高校开始将Python作为大一新生的入门语言。本萌新也刚开始接触Python,发现Python与其他语言确实有很大的区别。Python是由C语言实现的,因此想把Python与C语言做一个简单的比较。一、C语言是编译型语言,经过编译后,生成机器码,然后再运行,..._c十十pathyon

appium+python自动化43-微信公众号webview操作-程序员宅基地

文章浏览阅读271次。前言上一篇已经解决切换到微信公众号的webview上了,但是定位webview上元素的时候一直提示找不到,打印page_source也找不到页面上的元素,这个问题困扰了一整天,还好最后找到了原因,此处埋了一个深坑,需要再次切换handle切换到webview1.上一篇已经详细介绍如何切换到微信公众号的webview上,这里就不重复说了,贴下代码:# 切换到webviewtime.sle..._自动化测试公众微信号python

2019.3.20 RecyclerView的依赖_recyclerview依赖地-程序员宅基地

文章浏览阅读1.1k次,点赞3次,收藏2次。2019.3.20 RecyclerView的依赖andriod studio更新到最新版本打开.xml文件点击Design点击下载按钮 等待下载完成在这里插入图片描述大功告成。_recyclerview依赖地

随便推点

HTML---今天学了有序列表<ol>和无序列表<ul>,自我总结一下_无序列表和有序列表的标签分别是-程序员宅基地

文章浏览阅读245次。分享有序列表和无序列表的使用和常用属性_无序列表和有序列表的标签分别是

java/php/net/pythont电影票订票系统设计_电影购票系统er图-程序员宅基地

文章浏览阅读4.1k次。本系统带文档lw万字以上+答辩PPT+查重 如果这个题目不合适,可以去我上传的资源里面找题目,找不到的话,评论留下题目,或者站内私信我,有时间看到机会给您发系统体系结构电影票订票系统的结构图4-1所示: 图4-1 系统结构登录系统结构图,如图4-2所示: 图4-2 登录结构图管理员结构图,如_电影购票系统er图

Python字符串及正则表达式(一)_python 字符串 表达式-程序员宅基地

文章浏览阅读847次。1.6.1字符串常用操作1.6.1.1拼接字符串使用”+”运算符可以完成对多个字符串的拼接,”+”元素安抚可以连接多个字符串并产生一个字符串对象示例代码:teacher ="Will"content="主要负责Python自动化"结果:Will主要负责Python自动化字符串不允许直接与其他类型的数据拼接。示例代码:name="李二狗"course="语文成绩是"score=97 #(int类型)print(name+course+score)结果:Traceback _python 字符串 表达式

【本人秃顶程序员】Spring Boot 最流行的 16 条实践解读!_bom专员的最佳实践-程序员宅基地

文章浏览阅读171次。←←←←←←←←←←←← 快!点关注Spring Boot是最流行的用于开发微服务的Java框架。在本文中,我将与你分享自2016年以来我在专业开发中使用Spring Boot所采用的最佳实践。这些内容是基于我的个人经验和一些熟知的Spring Boot专家的文章。在本文中,我将重点介绍Spring Boot特有的实践(大多数时候,也适用于Spring项目)。以下依次列出了最佳实践,排名不分先..._bom专员的最佳实践

3090 pytorch编译记录_ms/iter-程序员宅基地

文章浏览阅读337次。一、环境配置编译的本地环境如下:gpu : RTX 3090ubuntu 20.04gcc 9.3.0driver : 460.56CUDA : 11.2CUDNN : 8.1.0python :3.6.12pytorch : 1.7.1torchvision : 0.8.2torchtext : 0.8.1pytorch、torchtext、torchvision 需要在同一个环境编译,编译顺序为: pytorch > torchvision > torcht_ms/iter

关于微信小程序不同机型导致的布局不统一的问题_小程序在不同手机上页面不一样-程序员宅基地

文章浏览阅读1.7k次。解决小程序不同机型出现布局差异问题_小程序在不同手机上页面不一样

推荐文章

热门文章

相关标签