调用hadoop下的jar完成单词统计练习——大数据分析及其可视化6_new DFP的博客-程序员秘密
在之前的练习中我们是使用maven工具打包写好的代码上传到linux中运行jar包
其实在hadoop中的配置文件是有已经完成的MapReduce运算jar包
现在我们来尝试一下
上次我们在主节点完成单词统计
这次我们用子节点_dfp主机完成单词统计练习
执行上面的命令进入hadoop配置完成的文件夹中
我们发现在share文件下的hadoop文件内有写好的MapReduce文件里面有封装好的jar包
这个就是hadoop自带单词统计的jar包我们执行这个命令
hadoop jar hadoop-mapreduce-examples-2.7.3.jar
可以看到系统提示我们怎么操作以及jar包有哪些命令。
执行单词统计命令：
hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /data_input /h_data_output
格式=（hadoop jar 【jar包名】【操作】/【数据来源】/【数据输出文件】）1.这个数据输出文件夹一定是不存在的 2.确保数据来源有数据
查看输出数据
hdfs dfs -ls /h_data_output
hdfs dfs -cat /h_data_output/part-r-00000
智能推荐
tf量化踩坑记录_xjcoolice的博客-程序员秘密
TF 踩坑记录在调试TF过程种遇到很多奇怪的bug，分别记录原因和解决方案。最重要的解决方案：1、冷静 2、debug 3、问题排除训练时is_training=True 验证时is_training=False ，不设置的话，验证过程种参数会发生变化，例如BN的mean和var是统计的均值。1） 训练过程不收敛或者收敛很慢a) 检查训练数据是否解析正常b) 检查网络结构是否正常，例如是否存在重复使用softmaxc) loss 设计是否正确d) BN层以及训练参数是否可训练，检查输入的参
怎么理解分布式链路追踪技术？_Docker_的博客-程序员秘密
▲点击上方“分布式实验室”关注公众号回复“1”抽取纸质技术书—1—为什么需要链路追踪在学习分布式链路追踪之前，我们需要先理解这项技术产生的背景，以及它能够帮我们解决哪些棘手问题。提到...
关于RPG MAKER的一些资源_泠璃的博客-程序员秘密
RPGMaker基础教程 yanfly.moe—–专门做RM插件的一个博客 JS Plugin Releases (RMMV)——RMMV插件论坛
mk 文件一些写法_空白的泡的博客-程序员秘密
1. ifeq ifneqifeqifneq ($(COMPILE_FACTORY_VERSION),no) //如果不等于no则进入xxxxxxendif
Centos6和Centos7对比_centos7和centos6_一棵小小柏的博客-程序员秘密
1.文件系统Centos6.x：EXT4（Ext4的单个文件系统容量可以达到1EB，单个文件的大小可以达到16TB）Centos7.x：XFS（XFS默认支持的系统容量大小8EB减去1个字节的容量，最大支持的文件大小是9EB，最大支持的文件系统尺寸是18EB）2 防火墙、默认的数据库Centos6.x防火墙：iptables，默认的数据库：MysqlCentos7.x防火墙：firewalld，默认安装的数据库：MariaDB3 时间同步命令、修改时区、修改语言Centos6.x时间同步nt
LVM逻辑卷管理LVM PV VG LV 理解_yimenglin的博客-程序员秘密
LVM是逻辑盘卷管理（Logical Volume Manager）的简称，他是磁盘管理的一种工具，就目前基本上所有操作系统均支持，LVM是建立在硬盘和分区之上的一个逻辑层，来提高磁盘分区管理的灵活性。通过LVM系统管理员可以轻松管理磁盘分区，如：将若干个磁盘分区连接为一个整块的卷组（volume group），形成一个存储池。管理员可以在卷组上随意创建逻辑卷组（logical volumes），...
随便推点
rpm方式安装zabbix-proxy_梧桐、的博客-程序员秘密
1、下载zabbix-proxy的rpm包在清华源下载（版本自定，跟zabbix-server同版本）###同时安装依赖yum localinstall -y zabbix-proxy-mysql-4.4.7-1.el7.x86_64.rpm##卸载mariadb5.5rpm -qa |grep mariadb | xargs yum remove -y###安装mysql-5.7数据库配置mysql的repo源yum install mysql-community-server2、z
解决：tcpdump -w xxxxx.pcap 提示 Permission denied_tcpdump permission denied_Solarzhou的博客-程序员秘密
笔者用的是cenos6.10，出现的如题所示问题。经过多次调试查找资料 ，找到了一种好用的方法。我们只需进入 /var/tmp 所在的目录下，然后执行tcpdump命令即可解决。例如：[[email protected] tmp]# tcpdump -i eth0 port 53 -G 3600 -w %Y%m%d%H%M%S.pcaptcpdump: listening on eth0, link-ty...
HDU 1495（倒水问题+BFS）_bahuan1974的博客-程序员秘密
大家一定觉的运动以后喝可乐是一件很惬意的事情，但是seeyou却不这么认为。因为每次当seeyou买了可乐以后，阿牛就要求和seeyou一起分享这一瓶可乐，而且一定要喝的和seeyou一样多。但seeyou的手中只有两个杯子，它们的容量分别是N 毫升和M 毫升 可乐的体积为S （S<101）毫升 (正好装满一瓶) ，它们三个之间可以相互倒可乐 (都...
携手并进，合作共赢 ▏麒麟信安授权北京辰极智程为京、津、冀省级区域总代理签约仪式举行_麒麟信安的博客-程序员秘密
7月16日下午，麒麟信安与北京辰极智程信息技术股份有限公司（以下简称：辰极智程）区域总代理授权仪式在北京举行。麒麟信安高级副总裁任启与辰极智程总经理周明建分别代表双方就未来的合作进行了深入的探讨与交流。麒麟信安为辰极智程颁发授权证书，辰极智程正式成为麒麟信安官方授权的京、津、冀省级区域总代理。辰极智程专注于信息系统基础设施建设和运营，服务于人工智能、云计算、大数据、物联网等各种新兴智慧科技产业。从事多年的信息化产品销售、系统集成、应用技术服务和智能化建设为客户提供专业的整体解决方案。麒麟信安持续深耕
当你在追梦的路上抱怨生活太累快要放弃的时候，不妨看看我的这篇文章_吴秋霖湖南怀化_吴秋霖的博客-程序员秘密
如果你在追梦的路上感觉到累了，想要放弃的时候。请看看我的这篇文章
network error while attempting to run command ‘isMaster‘ on host_汾西公子的博客-程序员秘密
使用环境：公司的物理机。。。提示：本地可以连接mongo --host IP--port 端口--authenticationDatabase admin -u 用户 -p 密码远程连接mongodb时报错：network error while attempting to run command 'isMaster' on host原因：防火墙端口没有放开解决：开放防火墙端口即可解决，疑虑：防火墙端口没有放开，但是端口可以telnet通。已经遇到俩次了。。。奇怪奇怪...