【2023】hadoop基础介绍_hadoop参考文献2023-程序员宅基地

技术标签： python  数据分析  hadoop  分布式  大数据  

目录

Hadoop组成

hadoop安装教程可以看我这篇文章===> hadoop通过docker安装

  • HDFS组件：是Hadoop内的分布式存储组件，可以构建分布式文件系统用于数据存储。
  • MapReduce组件：MapReduce是Hadoop内分布式计算组件。提供编程接口供用户开发分布式计算程序。
  • YARN组件：YARN是Hadoop内分布式资源调度组件。可供用户整体调度大规模集群的资源使用。

HDFS

分布式存储：主从架构——架构角色

  • 主角色：Master（NameNode）
  • 从角色：Slave（DataNode）
  • 主角色的辅助角色：（SecondaryNameNode）
    • 处理合并edits为fsimage：会通过http从NameNode拉取数据（edits和fsimage），然后合并完成后提供给NameNode使用。

HDFS操作

  • HDFS文件系统基本信息

    操作命令添加协议头就会分别是对对应的系统执行，如果不带是会按照

    在这里插入图片描述

  • 操作命令

不同版本命令开头

# 老版本
hadoop fs 
# 新版本
hdfs dfs

在这里插入图片描述

命令使用在这里插入图片描述

  • 上传文件到hdfs文件系统中
# hdfs dfs -put linux路径 HDFS文件路径
hdfs dfs -put ./test2.test /

在这里插入图片描述

  • 下载HDFS文件到linux中
# hdfs dfs -get HDFS文件路径 linux路径
hdfs dfs -get /.test.txt /

在这里插入图片描述

  • 拷贝HDFS文件和移动
#拷贝文件
hdfs dfs -cp 源路径 粘贴路径

#移动文件
hdfs dfs -mv 源路径 粘贴路径

在这里插入图片描述

  • 追加数据到HDFS文件

    HDFS只能追加和删除，不能修改

htfs -dfs -appendToFile

在这里插入图片描述

  • 查看文件和删除文件
#查看文件内容
htfs -dfs -cat 文件
#删除文件和文件夹（删除文件不用加-r，删除文件夹需要加-r）
htfs dfs -rm -r 文件路径

删除文件看是否需要添加回收站

在这里插入图片描述

html查看文件

在这里插入图片描述

产品插件用于使用：Big Data Tools

在这里插入图片描述

配置插件

在这里插入图片描述

HDFS分布式文件存储

hdfs存储的管理单位是叫 block块

通过分布式的方式进行存储5，为了避免block块丢失，一般会进行冗余备份（通过添加副本块的方式备份），避免文件丢失

在这里插入图片描述

NameNode元数据

  • edits文件———流水帐文件

在这里插入图片描述

  • FSlmage文件———最终文件（保存最终结果）

在这里插入图片描述

  • 执行流程

在这里插入图片描述

数据读写流程

在进行读写时，会优先读写到网络距离最近的那台dataNode给客户端进行读写，实现读写的最优解。

  • 数据写入流程

在这里插入图片描述

在这里插入图片描述

  • 数据读取流程

    在这里插入图片描述

YARN和MapReduce

  • 分布式（数据）计算
    • 分散—>汇总模式
      1. 将数据分片，多台服务器负责一部分数据处理
      2. 然后将各种的数据进行汇总
    • 中心调度—>步骤执行模式
      1. 由一个节点作为中心调度管理者
      2. 将任务划分为几个具体步骤
      3. 管理者安排每个机器执行任务
      4. 最终得到结果数据

MapReduce：分布式计算

采用的是分散—>汇总模式进行分布式计算

提供了2个编程接口

  • Map：分散
  • Reduce：汇总

在这里插入图片描述

YARN：资源管控调度

将资源统一管控进行分配可以提供资源利用率

MapReduce和YARN的关系

  • YARN用来调度资源给MapReduce分配和管理运行资源
  • 所以,MapReduce需要YARN配合使用

YARN架构

YARN采用的也是主从架构

核心角色

  • ResourceManager：整个集群的资源调度者，负责协调调度各国程序所需要的资源。
  • NodeManager：单个服务器的资源调度者，负责调度单个服务器上的资源提供给应用程序使用

辅助角色

  • ProxyServer：代理服务器
  • JobHistoryServer：历史服务器

在这里插入图片描述

YARN集群启动和停止命令（mapReduce无需启动任何进程）

#一键启动： 
$HADOOP_HOME/sbin/start-yarn.sh
#一键关闭
$HADOOP_HOME/sbin/stop-yarn.sh

#历史服务器启动和停止
mapred --daemon start｜stop historyserver

查看YARN的web页面通过8088端口

在这里插入图片描述

提交任务到YARN中运行

在这里插入图片描述
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_52315708/article/details/135279405

智能推荐

python编码问题之encode、decode、codecs模块_python中encode在什么模块-程序员宅基地

文章浏览阅读2.1k次。原文链接先说说编解码问题编码转换时，通常需要以unicode作为中间编码，即先将其他编码的字符串解码（decode）成unicode，再从unicode编码（encode）成另一种编码。 Eg：str1.decode('gb2312') #将gb2312编码的字符串转换成unicode编码str2.encode('gb2312') #将unicode编码..._python中encode在什么模块

Java数据流-程序员宅基地

文章浏览阅读949次，点赞21次，收藏15次。本文介绍了Java中的数据输入流（DataInputStream）和数据输出流（DataOutputStream）的使用方法。

ie浏览器无法兼容的问题汇总_ie 浏览器 newdate-程序员宅基地

文章浏览阅读111次。ie无法兼容_ie 浏览器 newdate

想用K8s，还得先会Docker吗？其实完全没必要-程序员宅基地

文章浏览阅读239次。这篇文章把 Docker 和 K8s 的关系给大家做了一个解答，希望还在迟疑自己现有的知识储备能不能直接学 K8s 的，赶紧行动起来，K8s 是典型的入门有点难，后面越用越香。

ADI中文手册获取方法_adi 如何查看数据手册-程序员宅基地

文章浏览阅读561次。ADI中文手册获取方法_adi 如何查看数据手册

React 分页-程序员宅基地

文章浏览阅读1k次，点赞4次，收藏3次。React 获取接口数据实现分页效果以拼多多接口为例实现思路加载前 加载动画加载后 判断有内容的时候 无内容的时候用到的知识点1、动画效果（用在加载前，加载之后就隐藏或关闭，用开关效果即可）2、axios请求3、map渲染页面4、分页插件（antd）代码实现import React, { Component } from 'react';//引入axiosimport axios from 'axios';//引入antd插件import { Pagination }_react 分页

随便推点

关于使用CryPtopp库进行RSA签名与验签的一些说明_cryptopp 签名-程序员宅基地

文章浏览阅读449次，点赞9次，收藏7次。这个变量与验签过程中的SignatureVerificationFilter::PUT_MESSAGE这个宏是对应的，SignatureVerificationFilter::PUT_MESSAGE，如果在签名过程中putMessage设置为true，则在验签过程中需要添加SignatureVerificationFilter::PUT_MESSAGE。项目中使用到了CryPtopp库进行RSA签名与验签，但是在使用过程中反复提示无效的数字签名。否则就会出现文章开头出现的数字签名无效。_cryptopp 签名

新闻稿的写作格式_新闻稿时间应该放在什么位置-程序员宅基地

文章浏览阅读848次。新闻稿是新闻从业者经常使用的一种文体，它的格式与内容都有着一定的规范。本文将从新闻稿的格式和范文两个方面进行介绍，以帮助读者更好地了解新闻稿的写作_新闻稿时间应该放在什么位置

Java中的转换器设计模式_java转换器模式-程序员宅基地

文章浏览阅读1.7k次。Java中的转换器设计模式 在这篇文章中，我们将讨论 Java / J2EE项目中最常用的 Converter Design Pattern。由于Java8 功能不仅提供了相应类型之间的通用双向转换方式，而且还提供了转换相同类型对象集合的常用方法，从而将样板代码减少到绝对最小值。我们使用Java8 功能编写了..._java转换器模式

应用k8s入门-程序员宅基地

文章浏览阅读150次。1，kubectl run创建pods[root@master ~]# kubectl run nginx-deploy --image=nginx:1.14-alpine --port=80 --replicas=1[root@master ~]# kubectl get podsNAME READY STATUS REST...

PAT菜鸡进化史_乙级_1003_1003 pat乙级 最优-程序员宅基地

文章浏览阅读128次。PAT菜鸡进化史_乙级_1003“答案正确”是自动判题系统给出的最令人欢喜的回复。本题属于 PAT 的“答案正确”大派送 —— 只要读入的字符串满足下列条件，系统就输出“答案正确”，否则输出“答案错误”。得到“答案正确”的条件是： 1. 字符串中必须仅有 P、 A、 T这三种字符，不可以包含其它字符； 2. 任意形如 xPATx 的字符串都可以获得“答案正确”，其中 x 或者是空字符串，或..._1003 pat乙级 最优

CH340与Android串口通信_340串口小板 安卓给安卓发指令-程序员宅基地

文章浏览阅读5.6k次。CH340与Android串口通信为何要将CH340的ATD+Eclipse上的安卓工程移植到AndroidStudio移植的具体步骤CH340串口通信驱动函数通信过程中重难点还存在的问题为何要将CH340的ATD+Eclipse上的安卓工程移植到AndroidStudio为了在这个工程基础上进行改动，验证串口的数据和配置串口的参数，我首先在Eclipse上配置了安卓开发环境，注意在配置环境是..._340串口小板 安卓给安卓发指令

推荐文章

热门文章

相关标签