Hadoop Mapreduce任务出错,Child Error_iteye_10418的博客-程序员秘密

技术标签: java  Hadoop  大数据  

集群出现大面积任务失败,表现为mapreduce刚启动不久,就抛出异常,查看log可以看到,
Status : FAILED
java.lang.Throwable: Child Error
at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:271)
Caused by: java.io.IOException: Task process exit with nonzero status of 1.
at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:258)

找了资料很长时间,经过了怀疑时钟同步有问题,ulimit设置不正确,终于在台湾,老外网站一个不经意的地方提到可能是写入有问题,或者磁盘不足。
They say 'it's an OS limit on the number of sub-directories that can be related in another directory.'
查了磁盘空间,还有足够的空间可以写数据。
突然想到是否是日志目录告警,因为每一个都会在log目录下建一个子目录的,而log目录所在磁盘格式是ext3,而linux的ext3文件格式是有子目录上限的,为32000,除掉. ..,子目录最多只能有31998.
查看/app/hadoop/logs/userlogs下子目录,果然达到了上限31998.
一天的子任务log能达到上限,看来是错误连续出错,导致子目录来不及删除引起。写了个脚本,删除各节点机器的部分userlogs下的子目录log后,问题解决。
总结:除了每天删除外,还要监控log子目录是否会达到上限。
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/iteye_10418/article/details/82404847

智能推荐

【渝粤题库】陕西师范大学200971教育经济学 作业(专升本、高起本)_yuyueshool的博客-程序员秘密

《教育经济学》作业一、单选题1.我国多数学者认为,应该把教育经济学隶属于经济科学体系,属于( )。A.宏观经济学 B.微观经济学 C.部门经济学 D.产业经济学2.教育经济学是现代经济和现代教育的产物,它在西方萌芽于20世纪20年代,形成于( )年代。A.40 B.60 D.703.人力资本这一概念是由美国的( )于1935年首先使用的A.舒尔茨 B.丹尼森 C.贝克

Android应用打开外部文件_weixin_30279751的博客-程序员秘密

我们有时候遇到要打开一个文件,我们可以选择用其他应用打开,这时弹出来的应用列表,那么我们如何让自己开发的应用也能出现在里面呢?第一步:设置启动Activity的intent-filter,给data 指定可以打开的mimeType.(注意允许文件操作的权限) <activity android:name=".StartActivity">...

OFFPIPE 海底管道铺设计算分析软件_wangning7654的博客-程序员秘密_offset pipe管道软件

OFFPIPE 3.0Pipelay analysisModels pipe laying, davit lift, pipelay initiation and abandonment/recovery operations. It can model both conventional laybarge and stinger based pipe laying methods ...

TCP管理的4种定时器_messiran10的博客-程序员秘密

TCP共使用以下四种计时器,即重传计时器、坚持计时器、保活计时器和时间等待计时器。这几个计时器的主要特点如下:    1、重传计时器    当TCP发送报文段时,就创建该特定报文段的重传计时器。可能发生两种情况:    (1)、若在计时器截止时间到(通常是60秒)之前收到了对此特定报文段的确认,则撤销此计时器。    (2)、若在收到了对此特定报文段的确认之前计时器截止期到,则重传

unctf2020部分wp_piubiutiu~的博客-程序员秘密

misc签到题下载附件之后是一张图片,打开方式选择记事本,在最后一行会发现一行网址,浏览器访问它可以在评论区找到flag。web一、ezphp<?phpshow_source(__FILE__);$username = "admin";$password = "password";include("flag.php");$data = isset($_POST['data'])? $_POST['data']: "" ;$data_unserialize = unserial

分布式ID生成工具类-雪花算法_swadian2008的博客-程序员秘密_雪花算法生成id工具类

目录一、分布式ID的特点二、分布式ID的常见解决方案三、雪花算法的概要四、雪花算法的实现雪花算法,在分布式架构中很常见,但一般也不需要怎么去深入了解,一方面一般个人项目用不到分布式之类的大型架构,另一方面,就算要用到,市面上很多ID生成器也帮我们完成了这项工作。一、分布式ID的特点(1)全局唯一性:不能出现有重复的ID标识,这是基本要求。(2)递增性:确保生成ID对于用户或业务是递增的。(3)高可用性:确保任何时候都能生成正确的ID。(4)高性能性:在高并发的环境下依

随便推点

主流分布式存储技术的对比分析与应用_诸葛钢铁云的博客-程序员秘密_分布式存储技术

摘 要:随着数字化转型的深入,海量数据对存储提出了新的要求。传统存储虽然有技术成熟、性能良好、可用性高等优点,但面对海量数据,其缺点也越来越明显:如扩展性差、成本高等。为了克服上述缺点,满足海量数据的存储需求,市场上出现了分布式存储技术。分布式存储系统,通常包括主控服务器、存储服务器,以及多个客户端组成。其本质是将大量的文件,均匀分布到多个存储服务器上。当前,分布式存储有多种实现技术,如HDFS、Ceph、GFS、Switf等。在实际工作中,为了更好地引入分布式存储技术,我们需了解各种分布式存储

tensorflow入门与实践_听雨322的博客-程序员秘密

Tensorflow一些常用基本概念与函数1、tensorflow的基本运作为了快速的熟悉TensorFlow编程,下面从一段简单的代码开始:import tensorflow as tf #定义‘符号’变量,也称为占位符 a = tf.placeholder("float") b = tf.placeholder("float") y = tf.mul(a, b) #构造一个op节点...

7 赫斯曼网管软件industrial hivision告警事件设置_恋上邻居家的猫咪的博客-程序员秘密

文章目录前言一、事件转发1.Forward events to syslog server2.Event Type3.新建日志服务器设备二、事件操作1.告警提示框设置2.告警音设置3.添加事件类型和动作4.查看效果总结前言当网络有告警事件时,该如何向系统日志服务器发送告警日志?事件告警如何以设置警示框、声音告警、邮件发送告警信息?以下步骤将详细介绍赫斯曼网管软件的告警事件设置。一、事件转发1.Forward events to syslog server通过 “Forward event

分布式数据库系统的相关基本概念_芮芮子天下第一的博客-程序员秘密_分布式数据库的基本概念

分布式数据库系统原理分布式数据库系统,简称为DDBS。它源自于两种数据处理方法的结合,一个是数据库系统DBS,另一个则是计算机网络。很有意思的是数据库系统是将企业运营的数据集中起来,提供对数据可控制的存取。但是计算机网络技术提倡的是一种反对集中的工作模式。这两种对比如此鲜明的技术合在一起变成了分布式数据库技术,这种技术追求的是在可能取得集成的情况下放弃集中。分布式分布式处理(或者是分布式计算)没有准确的定义。我们使用的分布式计算系统的定义要求它具备一定数量的自主式处理单元,这些单元通过计算机网络互

Qt自定义控件之浮动操作按钮_屁股大象的博客-程序员秘密_qt 浮动按钮

效果实现  实现这个按钮唯一麻烦的点就在于算出N个子按钮弹出的位置。看下图:   假设:按钮散落的位置为0到180°,我们有N个按钮,圆心坐标为(x,y),圆心到散落按钮的左上角(leftTop)位置距离为R。  由于我们有N个按钮,散落的总角度为180°,则每个按钮的之间的夹角可以算出为180N−1​\frac{ 180}{ N - 1}​N−1180​​ ,我们定义为上图的夹角A。  则我们可以用三角函数轻松得出圆心到子按钮左上角的x轴和y轴的偏移量。分别为夹角A的对边和邻边。  则第i

网站运维:git工具-常用命令(2):git clone 克隆版本库、git diff 差异比较、git rm 删除文件_hahahafree的博客-程序员秘密

1、git clone 克隆版本库git clone https://github.com/hahahafree/learning__python3.git格式:git clone [url]git clone [url] 自定义的名称git clone https://github.com/hahahafree/learning__python3.git pythontest...

推荐文章

热门文章

相关标签