技术标签: mapreduce Hadoop大数据平台 hdfs hadoop
之前是在linux云服务器上的hadoop本地模式实现了wordcount案例:linux云服务器实现wordcount案例
这次改用hadoop的集群模式实现此案例。
sbin/start-dfs.sh
后,通过jps
命令可查看已存在如下进程31254 DataNode
32007 Jps
31481 SecondaryNameNode
31119 NameNode
hdfs dfs -ls -R /
hdfs dfs -mkdir -p /sample/wordcount
,并将本地的wc.input
文件上传至HDFShdfs dfs -moveFromLocal /root/software/Hadoop/hadoop-3.3.1/sample/wordcount/wc.input /sample/wordcount
其内容就只是一些文本,随便写些啥都行
hadoop yarn
hadoop mapreduce
atguigu
atguigu
wc.output
结果文件hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar wordcount /sample/wordcount/wc.input /sample/wordcount/wc.output
在web界面就可以看到如下内容
就已经看到对wc.input
执行命令后的结果数据,此结果即表示在输入文件夹wcinput内,atguigu和hadoop字符出现的次数为2,mapreduce和yarn出现的次数为1
其实到第4步就已经完成了此案例,在操作web界面的时候,可能会出现权限问题,所以单独列一下解决方法,笔者曾出现过截图报错
解决方式是对指定文件夹赋权
hdfs dfs -chmod -R -777 /sample
文章浏览阅读1w次,点赞3次,收藏10次。vue-element-admin 修改默认的全局字体尺寸为mini_elment ui 全局mini
文章浏览阅读3.2k次,点赞6次,收藏59次。VSCode搭建Vue项目在vscode上搭建一个vue项目---初学总结。1.假设Vscode、nodejs等已经安装好了。2.全局安装vue-cli,vue-cli可以帮助我们快速构建Vue项目。安装命令:npm install -g vue-cli打开VScode的终端,调出命令输入框。点击终端-新建终端,输入上述命令,回车,等待安装完成。3.安装webpa..._vscode安装 vue-property-decorator
文章浏览阅读4.6k次。根据springMvc教程,改写的springboot文件上传功能,实际上很简单,核心使用的是MultipartFile类:org.springframework.web.multipart.MultipartFile代码如下:package com.kuang.controller;import org.springframework.web.bind.annotation.*;import org.springframework.web.multipart.Multipar_multipartfile.transferto(file);
文章浏览阅读2.1w次,点赞2次,收藏10次。布局参数layui-row :定义行layui-col-md* :定义一组col,放在row内md代表不同屏幕下的标记:xs - 手机;sm - 平板;md - 电脑*代表所占的12等分数,可选值为1-12如果总和12就满行,否则另起一行可以追加layui-col-space5、layui-col-md-offset3来表示列的间距和偏移固定尺寸的水平垂直居中方式方式1:定位.box{width: 400px;height: 300px;border: 2px solid _layui 居中
文章浏览阅读1.8k次。Linux下一般都是系统漏洞提权,分为以下几个步骤:1. 获取系统版本号2. 根据系统版本号找对应exp3. 反弹shell4. 尝试利用_linux系统漏洞本地提权实验网站发布目录下的flag文件,写出该文件的内容
文章浏览阅读2.1k次。idea 出现中文乱码_idea中文string报错
文章浏览阅读2.2k次。import jsonimport timefrom requests_html import HTMLSession# 判断是否是数字def is_number(s): try: float(s) return True except ValueError: pass try: import unicodedata unicodedata.numeric(s) return._爬取阳光高考
文章浏览阅读1.1k次。版权声明:本文为博主原创文章,遵循CC4.0BY-SA版权协议,转载请附上原文出处链接和本声明。本文链接:https://blog.csdn.net/wokuailewozihao/article/details/82021709-------------------------------------------------------------------------------..._谷歌翻译js插件 select替换成div
文章浏览阅读4.2k次。在使用 查询时,如果未对时间字段进行处理,结构体内的字段类型咱们使用的是 :这里咱们使用 类型在 进行查询的返回结果,读取到的时间字段往往是这样:“”,带着时区和毫秒。但其实往往这样的格式,不是咱们想要的。如果想要 “” 这样的格式,需要怎么处理呢?当插入一条数据到对应的表中时, 字段是不赋值的,插入到数据库则会 ,系统赋了⼀个默认值,当不想插⼊时如何处理?读取到的时间需要是:“2022-07-03 22:14:02” 这样的格式当时间字段不赋值时,不插入默认值虽然该数据类型实际类型为 ,但是不_gorm time
文章浏览阅读3.4k次。CSRF 保护这部分文档介绍了 CSRF 保护。为什么需要 CSRF?Flask-WTF 表单保护你免受 CSRF 威胁,你不需要有任何担心。尽管如此,如果你有不包含表单的视图,那么它们仍需要保护。例如,由 AJAX 发送的 POST 请求,然而它背后并没有表单。在 Flask-WTF 0.9.0 以前的版本你无法获得 CSRF 令牌。这是为什么我们要实现 CSRF。实现为..._flask-wtf csrf
文章浏览阅读5k次。chmod是权限管理命令change the permissions mode of a file的缩写。。u代表所有者,x代表执行权限。 + 表示增加权限。chmod u+x file.sh 就表示对当前目录下的file.sh文件的所有者增加可执行权限。_如何加权限sh: --config-file
文章浏览阅读4.4k次。package cn.iecast.servlet;import sun.misc.BASE64Encoder;import javax.servlet.*;import javax.servlet.annotation.WebServlet;import javax.servlet.http.HttpServlet;import javax.servlet.http.HttpSer..._超链接 打开文件路径 下载