azkaban任务报错java.lang.RuntimeException: The root scratch dir: /tmp/hive_azkaban kettle 时间长报错-程序员宅基地

技术标签： HADOOP

azkaban运行任务的时候失败报错如下：

23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR - Exception in thread "main" org.apache.hive.service.cli.HiveSQLException: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rwxr-xr-x
23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -    at org.apache.hive.jdbc.Utils.verifySuccess(Utils.java:231)
23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -    at org.apache.hive.jdbc.Utils.verifySuccess(Utils.java:222)
23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -    at org.apache.hive.jdbc.HiveConnection.openSession(HiveConnection.java:459)
23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -    at org.apache.hive.jdbc.HiveConnection.(HiveConnection.java:178)
23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -    at org.apache.hive.jdbc.HiveDriver.connect(HiveDriver.java:105)
23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -    at java.sql.DriverManager.getConnection(DriverManager.java:571)
23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -    at java.sql.DriverManager.getConnection(DriverManager.java:215)
23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -    at com.geo.gdata.common.HiveClientUtils.getConnection(HiveClientUtils.java:36)
23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -    at com.geo.gdata.hive.DataToHive.loadDataToTab(DataToHive.java:59)
23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -    at com.geo.gdata.chain.KafkaToHiveTab.main(KafkaToHiveTab.java:74)
23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -    at java.lang.reflect.Method.invoke(Method.java:606)
23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -    at org.apache.hadoop.util.RunJar.main(RunJar.java:212)
23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR - Caused by: java.lang.RuntimeException: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rwxr-xr-x
23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -    at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:444)
23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -    at org.apache.hive.service.cli.session.HiveSessionImpl.(HiveSessionImpl.java:116)
23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -    at org.apache.hive.service.cli.session.HiveSessionImplwithUGI.(HiveSessionImplwithUGI.java:47)
23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -    at org.apache.hive.service.cli.session.SessionManager.openSession(SessionManager.java:260)
23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -    at org.apache.hive.service.cli.CLIService.openSessionWithImpersonation(CLIService.java:175)
23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -    at org.apache.hive.service.cli.thrift.ThriftCLIService.getSessionHandle(ThriftCLIService.java:322)
23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -    at org.apache.hive.service.cli.thrift.ThriftCLIService.OpenSession(ThriftCLIService.java:235)
23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -    at org.apache.hive.service.cli.thrift.TCLIService$Processor$OpenSession.getResult(TCLIService.java:1253)
23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -    at org.apache.hive.service.cli.thrift.TCLIService$Processor$OpenSession.getResult(TCLIService.java:1238)
23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -    at org.apache.thrift.ProcessFunction.process(ProcessFunction.java:39)
23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -    at org.apache.thrift.TBaseProcessor.process(TBaseProcessor.java:39)
23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -    at org.apache.hive.service.auth.TSetIpAddressProcessor.process(TSetIpAddressProcessor.java:56)
23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -    at org.apache.thrift.server.TThreadPoolServer$WorkerProcess.run(TThreadPoolServer.java:206)
23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -    at java.lang.Thread.run(Thread.java:745)
23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR - Caused by: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rwxr-xr-x
23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -    at org.apache.hadoop.hive.ql.session.SessionState.createRootHDFSDir(SessionState.java:529)
23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -    at org.apache.hadoop.hive.ql.session.SessionState.createSessionDirs(SessionState.java:478)
23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -    at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:430)
23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR -    ... 15 more
23-03-2016 08:16:15 CST analyzer-kafka2hdfs_new INFO - Process completed unsuccessfully in 73 seconds.
23-03-2016 08:16:15 CST analyzer-kafka2hdfs_new ERROR - Job run failed!
23-03-2016 08:16:15 CST analyzer-kafka2hdfs_new ERROR - azkaban.jobExecutor.utils.process.ProcessFailureExceptionazkaban.jobExecutor.utils.process.ProcessFailureException
23-03-2016 08:16:15 CST analyzer-kafka2hdfs_new INFO - Finishing job analyzer-kafka2hdfs_new at 1458692175992 with status FAILED

问题分析：
从报错中看到应该是跟权限有关系，搜索了相关文档，基本可以肯定是权限问题。

解决方法：
将/tmp/hive置为777权限

Update the permission of your /tmp/hive HDFS directory using the following command
hadoop fs -chmod 777 /tmp/hive
hdfs dfs -chmod 777 /tmp/hive

If so can you remove /tmp/hive on both local and hdfs.

hadoop fs -rm -r /tmp/hive;
rm -rf /tmp/hive

Only temporary files are kept in this location. No problem even if we delete this, will be created when required with proper permissions.

本文链接：https://blog.csdn.net/levy_cui/article/details/51143213

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

webpack Dev Server Invalid Options options should NOT have additional properties 解决办法-程序员宅基地

文章浏览阅读4.7w次，点赞4次，收藏4次。出现上面问题的原因是webpack.config.js中config.devServer 配置出现了问题const config = { ...}if(isDev) { config.devServer = { port: 8000, host: '0.0.0.0', overlay: { errors: true,..._webpack dev server invalid options

使用c++简单实现reactor模式_c++设计模式reactor-程序员宅基地

文章浏览阅读5.4k次。转载地址：http://blog.csdn.net/baidu20008/article/details/41378761事件驱动模型广泛地应用于高性能的web服务器中。而相对应的事件处理模式，最为典型的就是Reactor模式（中文可以称作“反应器” “反应堆”等等，各种叫法都不一样，估且就使用英文吧，叫它Reactor模式）和Proactor模式(中文也称“主动器” “前摄器”，同前者一样称_c++设计模式reactor

linux命令之筛选文件内容_linux过滤时间范围内的文件内容命令-程序员宅基地

文章浏览阅读1.4w次，点赞2次，收藏21次。linux命令之筛选文件内容（sed命令）在linux系统中，可能有这样的需求，比如查看某个文件中含有某些字符的内容。比如，日志文件中，只要含有error 相关的。可以使用如下命令：1、根据字符串内容筛选sed -n "/error/p" logs.log 注意以上/error/p 中的p 必须要带着，后边的logs.log 是一个文件，输入上边的命令，则会打印出只含有err..._linux过滤时间范围内的文件内容命令

使用GPIO模拟I2C的驱动程序分析-程序员宅基地

文章浏览阅读2.3k次。I2C在硬件上的接法如下所示，主控芯片引出两条线SCL,SDA线，在一条I2C总线上可以接很多I2C设备，我们还会放一个上拉电阻（放一个上拉电阻的原因以后我们再说）。主芯片通过一根SDA线既可以把数据发给从设备，也可以从SDA上读取数据，连接SDA线的引脚里面必然有两个引脚（发送引脚/接受引脚）。在这样一个速食的时代，坚持做自己，慢下来，潜心琢磨，心怀敬畏，领悟知识，才能向下扎到根，向上捅破天，背着世界往前行！从上面的例子，就可以知道怎样在一条线上实现双向传输，这就是SDA上要使用上拉电阻的原因。_gpio模拟i2c

vue npm install 报错 Unknown SSL protocol error in connection to github.com:443_element-admin npm install 报错unknowm ssl protocol e-程序员宅基地

文章浏览阅读683次。npm ERR! Error while executing:npm ERR! D:\Program Files\Git\cmd\git.EXE ls-remote -h -t https://github.com/nhn/raphael.gitnpm ERR!npm ERR! fatal: unable to access 'https://github.com/nhn/raphael.git/': Unknown SSL protocol error in connection to githu._element-admin npm install 报错unknowm ssl protocol error in connectiongithub

Qt学习-程序员宅基地

文章浏览阅读64次。Qt下载Qt安装Qt Creator的初步使用编写第一个Qt程序

随便推点

hadoop学习--hbase0.96整合到hadoop2.3.0安装过程_hbase-common-2.2.4.jar-程序员宅基地

文章浏览阅读744次。问题导读1.hbase安装在什么情况下会发生，启动之后自动宕机2.hbase安装目录该如何选择？3.hbase目录如果出现权限不一致，会发生什么情况？4.如果只有一个节点有临时目录会出现什么情况？_hbase-common-2.2.4.jar

gmssl生成的国密证书解析_gmssl 生成base64-程序员宅基地

文章浏览阅读3.1k次。国密认证遇到的一些问题记录：gmssl生成的key文件解析：gmssl生成的SM2证书文件解析：_gmssl 生成base64

深大uooc学术道德与学术规范教育第七章_关于伪造科研数据下列说法错误的是-程序员宅基地

文章浏览阅读7.8k次。一、单选题 (共 90.00 分)1.关于学术造假，下列说法是不正确的是( )A.指伪造、修改研究数据和资料等学术腐败行为B.通常是由研究者学风浮躁和急功近利所致C.为了令理论假设成立，加工和筛选数据并不是造假D.是一种违背学术道德和科学精神的表现满分：15.00 分得分：15.00 分你的答案：C正确答案：C教师评语：暂无2.资料分析中的失范行为往往也被称为学术造假，下列情况不属于学术造假的是（）A.筛选数据B.整理数据C.加工数据D.伪造数据满_关于伪造科研数据下列说法错误的是

javascript - 个人笔记汇总-程序员宅基地

文章浏览阅读68次。1. onSubmit = "return function ()";2. <input type="text" name="fname" required>3.var obj = JSON.parse(text);　//JavaScript 内置函数 JSON.parse() 将字符串转换为 JavaScript 对象　　JSON.stringify()//用于将值转换..._微信javascript笔记

SpringBoot中注解@ConfigurationProperties的作用_@configurationproperties(prefix = "security.captch-程序员宅基地

文章浏览阅读1.7k次。作用@ConfigurationProperties的作用：可以读取配置文件中的信息，并自动封装成实体类，该实体类的名称，默认是类名的首字母小写。比如，在application.yml中有这样的内容：# 安全配置security: # 验证码 captcha: enabled: true type: math代码演示package com.ruoyi.gateway.config.properties;import org.springframework.boot._@configurationproperties(prefix = "security.captcha")

Java中new Date().getTime()时间戳问题-程序员宅基地

文章浏览阅读5.4w次，点赞10次，收藏20次。1. getTime()返回值Java和JavaScript都支持时间类型Date，他们的getTime()方法返回的是毫秒数。默认返回的是13位数字，单位是毫秒。2. 注意事项 /** * Returns the number of milliseconds since January 1, 1970, 00:00:00 GMT * represented by this <tt>Date</tt> object. * * @retur_new date().gettime()