基于Hadoop集群实现wordcount案例_云服务器hadoop上运行wordcount-程序员宅基地

技术标签: mapreduce  Hadoop大数据平台  hdfs  hadoop  

之前是在linux云服务器上的hadoop本地模式实现了wordcount案例:linux云服务器实现wordcount案例
这次改用hadoop的集群模式实现此案例。

  1. 首先需要确保已完成了Pseudo-Distributed Operation伪分布式搭建,如果没有完成,可参考linux云服务器实现hadoop的Pseudo-Distributed Operation伪分布式搭建
    搭建完成,并执行sbin/start-dfs.sh后,通过jps命令可查看已存在如下进程
31254 DataNode
32007 Jps
31481 SecondaryNameNode
31119 NameNode
  1. 登录可视化界面http://localhost:9870/,直观查看HDFS的web界面,或者通过命令查看HDFS上的所有文件hdfs dfs -ls -R /
    在没有上传文件的情况下,应该是啥也没有的,这时候我们就可以先创建文件夹hdfs dfs -mkdir -p /sample/wordcount,并将本地的wc.input文件上传至HDFS
hdfs dfs -moveFromLocal /root/software/Hadoop/hadoop-3.3.1/sample/wordcount/wc.input /sample/wordcount

其内容就只是一些文本,随便写些啥都行

hadoop yarn
hadoop mapreduce
atguigu
atguigu
  1. 此时可以执行命令,生成wc.output结果文件
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar wordcount /sample/wordcount/wc.input /sample/wordcount/wc.output 
  1. 在web界面就可以看到如下内容
    wc.output文件夹内容
    在这里插入图片描述
    就已经看到对wc.input执行命令后的结果数据,此结果即表示在输入文件夹wcinput内,atguigu和hadoop字符出现的次数为2,mapreduce和yarn出现的次数为1

  2. 其实到第4步就已经完成了此案例,在操作web界面的时候,可能会出现权限问题,所以单独列一下解决方法,笔者曾出现过截图报错
    在这里插入图片描述
    解决方式是对指定文件夹赋权

hdfs dfs -chmod -R -777 /sample
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_44999258/article/details/122635593

智能推荐

vue-element-admin 修改默认的全局字体尺寸为mini_elment ui 全局mini-程序员宅基地

文章浏览阅读1w次,点赞3次,收藏10次。vue-element-admin 修改默认的全局字体尺寸为mini_elment ui 全局mini

VSCode搭建Vue项目_vscode安装 vue-property-decorator-程序员宅基地

文章浏览阅读3.2k次,点赞6次,收藏59次。VSCode搭建Vue项目在vscode上搭建一个vue项目---初学总结。1.假设Vscode、nodejs等已经安装好了。2.全局安装vue-cli,vue-cli可以帮助我们快速构建Vue项目。安装命令:npm install -g vue-cli打开VScode的终端,调出命令输入框。点击终端-新建终端,输入上述命令,回车,等待安装完成。3.安装webpa..._vscode安装 vue-property-decorator

springboot上传文件MultipartFile.transferTo()_multipartfile.transferto(file);-程序员宅基地

文章浏览阅读4.6k次。根据springMvc教程,改写的springboot文件上传功能,实际上很简单,核心使用的是MultipartFile类:org.springframework.web.multipart.MultipartFile代码如下:package com.kuang.controller;import org.springframework.web.bind.annotation.*;import org.springframework.web.multipart.Multipar_multipartfile.transferto(file);

layui的垂直居中和水平居中_layui 居中-程序员宅基地

文章浏览阅读2.1w次,点赞2次,收藏10次。布局参数layui-row :定义行layui-col-md* :定义一组col,放在row内md代表不同屏幕下的标记:xs - 手机;sm - 平板;md - 电脑*代表所占的12等分数,可选值为1-12如果总和12就满行,否则另起一行可以追加layui-col-space5、layui-col-md-offset3来表示列的间距和偏移固定尺寸的水平垂直居中方式方式1:定位.box{width: 400px;height: 300px;border: 2px solid _layui 居中

Linux系统漏洞提权_linux系统漏洞本地提权实验网站发布目录下的flag文件,写出该文件的内容-程序员宅基地

文章浏览阅读1.8k次。Linux下一般都是系统漏洞提权,分为以下几个步骤:1. 获取系统版本号2. 根据系统版本号找对应exp3. 反弹shell4. 尝试利用_linux系统漏洞本地提权实验网站发布目录下的flag文件,写出该文件的内容

idea 出现中文乱码_idea中文string报错-程序员宅基地

文章浏览阅读2.1k次。idea 出现中文乱码_idea中文string报错

随便推点

python 爬阳光高考高校数据_爬取阳光高考-程序员宅基地

文章浏览阅读2.2k次。import jsonimport timefrom requests_html import HTMLSession# 判断是否是数字def is_number(s): try: float(s) return True except ValueError: pass try: import unicodedata unicodedata.numeric(s) return._爬取阳光高考

使用Google翻译实现网站国际化——js插件_谷歌翻译js插件 select替换成div-程序员宅基地

文章浏览阅读1.1k次。版权声明:本文为博主原创文章,遵循CC4.0BY-SA版权协议,转载请附上原文出处链接和本声明。本文链接:https://blog.csdn.net/wokuailewozihao/article/details/82021709-------------------------------------------------------------------------------..._谷歌翻译js插件 select替换成div

GO项目实战 — Gorm格式化时间字段_gorm time-程序员宅基地

文章浏览阅读4.2k次。在使用 查询时,如果未对时间字段进行处理,结构体内的字段类型咱们使用的是 :这里咱们使用 类型在 进行查询的返回结果,读取到的时间字段往往是这样:“”,带着时区和毫秒。但其实往往这样的格式,不是咱们想要的。如果想要 “” 这样的格式,需要怎么处理呢?当插入一条数据到对应的表中时, 字段是不赋值的,插入到数据库则会 ,系统赋了⼀个默认值,当不想插⼊时如何处理?读取到的时间需要是:“2022-07-03 22:14:02” 这样的格式当时间字段不赋值时,不插入默认值虽然该数据类型实际类型为 ,但是不_gorm time

Flask-WTF的CSRF保护详解_flask-wtf csrf-程序员宅基地

文章浏览阅读3.4k次。CSRF 保护这部分文档介绍了 CSRF 保护。为什么需要 CSRF?Flask-WTF 表单保护你免受 CSRF 威胁,你不需要有任何担心。尽管如此,如果你有不包含表单的视图,那么它们仍需要保护。例如,由 AJAX 发送的 POST 请求,然而它背后并没有表单。在 Flask-WTF 0.9.0 以前的版本你无法获得 CSRF 令牌。这是为什么我们要实现 CSRF。实现为..._flask-wtf csrf

给.sh文件添加执行权限linux_如何加权限sh: --config-file-程序员宅基地

文章浏览阅读5k次。chmod是权限管理命令change the permissions mode of a file的缩写。。u代表所有者,x代表执行权限。 + 表示增加权限。chmod u+x file.sh 就表示对当前目录下的file.sh文件的所有者增加可执行权限。_如何加权限sh: --config-file

浏览器点击超链接后实现文件下载_超链接 打开文件路径 下载-程序员宅基地

文章浏览阅读4.4k次。package cn.iecast.servlet;import sun.misc.BASE64Encoder;import javax.servlet.*;import javax.servlet.annotation.WebServlet;import javax.servlet.http.HttpServlet;import javax.servlet.http.HttpSer..._超链接 打开文件路径 下载

推荐文章

热门文章

相关标签