Spark集群搭建时的踩得坑_failed to launch: nice -n 0 /usr/src/spark/bin/spa-程序员宅基地

技术标签： 大数据  

  • 启动时
192.168.5.176: failed to launch: nice -n 0 /usr/spark/bin/spark-class org.apache.spark.deploy.worker.Worker --webui-port 8081 spark://server178:7077
192.168.5.176:          at java.lang.Class.getMethod0(Class.java:3018)
192.168.5.176:          at java.lang.Class.getMethod(Class.java:1784)
192.168.5.176:          at sun.launcher.LauncherHelper.validateMainClass(LauncherHelper.java:544)
192.168.5.176:          at sun.launcher.LauncherHelper.checkAndLoadMain(LauncherHelper.java:526)
192.168.5.176:   Caused by: java.lang.ClassNotFoundException: org.slf4j.Logger
192.168.5.176:          at java.net.URLClassLoader.findClass(URLClassLoader.java:382)
192.168.5.176:          at java.lang.ClassLoader.loadClass(ClassLoader.java:418)
192.168.5.176:          at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:355)
192.168.5.176:          at java.lang.ClassLoader.loadClass(ClassLoader.java:351)
192.168.5.176:          ... 7 more
192.168.5.176: full log in /usr/spark/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-server176.out
192.168.5.179: failed to launch: nice -n 0 /usr/spark/bin/spark-class org.apache.spark.deploy.worker.Worker --webui-port 8081 spark://server178:7077
192.168.5.179:          at java.lang.Class.getMethod0(Class.java:3018)
192.168.5.179:          at java.lang.Class.getMethod(Class.java:1784)
192.168.5.179:          at sun.launcher.LauncherHelper.validateMainClass(LauncherHelper.java:544)
192.168.5.179:          at sun.launcher.LauncherHelper.checkAndLoadMain(LauncherHelper.java:526)
192.168.5.179:   Caused by: java.lang.ClassNotFoundException: org.slf4j.Logger
192.168.5.179:          at java.net.URLClassLoader.findClass(URLClassLoader.java:382)
192.168.5.179:          at java.lang.ClassLoader.loadClass(ClassLoader.java:418)
192.168.5.179:          at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:355)
192.168.5.179:          at java.lang.ClassLoader.loadClass(ClassLoader.java:351)
192.168.5.179:          ... 7 more
192.168.5.179: full log in /usr/spark/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-server179.out
192.168.5.178: failed to launch: nice -n 0 /usr/spark/bin/spark-class org.apache.spark.deploy.worker.Worker --webui-port 8081 spark://server178:7077
192.168.5.178:          at java.lang.Class.getMethod0(Class.java:3018)
192.168.5.178:          at java.lang.Class.getMethod(Class.java:1784)
192.168.5.178:          at sun.launcher.LauncherHelper.validateMainClass(LauncherHelper.java:544)
192.168.5.178:          at sun.launcher.LauncherHelper.checkAndLoadMain(LauncherHelper.java:526)
192.168.5.178:   Caused by: java.lang.ClassNotFoundException: org.slf4j.Logger
192.168.5.178:          at java.net.URLClassLoader.findClass(URLClassLoader.java:382)
192.168.5.178:          at java.lang.ClassLoader.loadClass(ClassLoader.java:418)
192.168.5.178:          at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:355)
192.168.5.178:          at java.lang.ClassLoader.loadClass(ClassLoader.java:351)
192.168.5.178:          ... 7 more
192.168.5.178: full log in /usr/spark/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-server178.out
  • worker日志
Error: A JNI error has occurred, please check your installation and try again
Exception in thread "main" java.lang.NoClassDefFoundError: org/slf4j/Logger
        at java.lang.Class.getDeclaredMethods0(Native Method)
        at java.lang.Class.privateGetDeclaredMethods(Class.java:2701)
        at java.lang.Class.privateGetMethodRecursive(Class.java:3048)
        at java.lang.Class.getMethod0(Class.java:3018)
        at java.lang.Class.getMethod(Class.java:1784)
        at sun.launcher.LauncherHelper.validateMainClass(LauncherHelper.java:544)
        at sun.launcher.LauncherHelper.checkAndLoadMain(LauncherHelper.java:526)
Caused by: java.lang.ClassNotFoundException: org.slf4j.Logger
        at java.net.URLClassLoader.findClass(URLClassLoader.java:382)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:418)
        at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:355)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:351)
        ... 7 more

解决方法

  • 在conf/spark-env.sh中添加
export SPARK_DIST_CLASSPATH=$(/usr/hadoop-2.9.2/bin/hadoop classpath)
  • 或者 配置了hadoop的环境变量可以使用下面的配置
export SPARK_DIST_CLASSPATH=$(hadoop classpath)
  • 在中sbin/spark-config.sh中添加
export JAVA_HOME=/usr/local/java/jdk1.8.0_231
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/haoren1994/article/details/102978638

智能推荐

详解步进电机原理及其正反转驱动程序(51单片机)_步进电机a十a一b十b一正反转-程序员宅基地

文章浏览阅读3.3w次，点赞26次，收藏227次。一、步进电机简要原理1.步进电机是将电脉冲信号转变为角位移或线位移的开环控制元件。2.非超载时，电机转速、转过的角度取决于脉冲信号的频率和脉冲数。3.线性关系：给电机施加一个脉冲，电机转过一个步距角。二、步进电机驱动方式单极性 (unipolar) 和双极性 (bipolar) 是步进电机最常采用的两种驱动架构。1.单极性驱动电路使用四颗晶体管来驱动步进电机的两组相位，电机结构则如图1..._步进电机a十a一b十b一正反转

python学习记录5——Python中的数_python里面数字加减以后的结果是float还是int-程序员宅基地

文章浏览阅读98次。4、在Python中书写很大的数时可以使用下划线将其中的数字分组，使其更清晰易读，打印这种数时不会打印出其中的下划线。3、无论是哪种运算，只要有操作数是浮点数，Python默认得到的结果总是浮点数，即便结果原本为整数也是如此。2、Python中将任意两个数相除时，结果总是浮点数，即便这两个数都是整数且能整除。Python中常见的数包括整数和浮点数，下面记录一些特别的、反常识的应用法则。_python里面数字加减以后的结果是float还是int

当病毒和流氓软件在C盘无法删除时，打开Window中开发者模式进入C盘删除指定文件_window怎么删除捆绑文件-程序员宅基地

文章浏览阅读357次。3,选择开发者选项，打开-开发人员模式，重启电脑。左下角搜索控制中心，打开控制中心，点击卸载程序。2，在window设置中选择【更新和安全】1，鼠标单击桌面的左下角，点击设置。_window怎么删除捆绑文件

CIFAR-10数据集详析：使用卷积神经网络训练图像分类模型_卷积神经网络图像识别cifar10数据集-程序员宅基地

文章浏览阅读3.5k次，点赞57次，收藏63次。CIFAR-10 数据集由 10 个类的彩色图像组成，每类6000张图像。有50000张训练图像和10000张测试图像。数据集分为5个训练批次和1个测试批次，每个批次有10000张图像。测试批次正好包含从每个类中随机选择的 1000 张图像。训练批次以随机顺序包含剩余的图像，但某些训练批次可能包含来自一个类的图像多于另一个类的图像。在它们之间，训练批次正好包含来自每个类的 5000 张图像。32×32 RGB图像 ，数据集本身是 BGR 通道。_卷积神经网络图像识别cifar10数据集

论文阅读笔记 — 第2篇 — 一种基于Epsilon支配的多目标优化问题档案导向均衡优化器_epsilon约束优化-程序员宅基地

文章浏览阅读1k次，点赞25次，收藏18次。同上一篇笔记。论文阅读笔记 — 第1篇 — 一种具有全局优化策略的增强MSIQDE算法-程序员宅基地这一篇论文同样也属于群智能优化领域，主要研究其Abstarct和introduction以及论文结构，具体算法细节不深入探讨（群智能优化算法总体思路大都差不多）。如有兴趣或者需要用到该算法的可以评论区探讨，下面是论文信息：期刊名称： mathematics(MDPI)在实际应用中，许多问题需要同时优化地涉及两个或多个相互冲突的目标。这些问题被称为多目标优化问题（MOPs）。_epsilon约束优化

HTML的文本输入框、密码输入框_html密码文本框-程序员宅基地

文章浏览阅读4.3w次，点赞15次，收藏12次。当用户要在表单中键入字母、数字等内容时，就会用到文本输入框。文本框也可以转化为密码输入框。语法： 1、type： 当type="text"时，输入框为文本输入框; 当type="password"时, 输入框为密码输入框。2、name：为文本框命名，以备后台程序ASP 、PHP使用。3、value：为文本输入框设置默认值。(一般起到提示作用)举例：_html密码文本框

随便推点

动态矩阵控制（DMC）的简单理解及其示例_dmc控制-程序员宅基地

文章浏览阅读2.5w次，点赞40次，收藏241次。文章结构前言DMC的基本思想DMC的控制流程生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入前言在学习模型预测控制的课程当中接触到了动态矩阵控制（DMC）算法，虽然不会在以后继续深入，但它的核心思想：控制、预测和校正还是可圈可点的。这里以一个简单的例子说明DMC的基本原理和控制流程，尽量做到省去复杂的数学公式而理解DMC，学_dmc控制

Transformer模型详解-程序员宅基地

文章浏览阅读10w+次，点赞157次，收藏791次。转载请注明出处，原文地址简介Attention Is All You Need是一篇Google提出的将Attention思想发挥到极致的论文。这篇论文中提出一个全新的模型，叫 Transformer，抛弃了以往深度学习任务里面使用到的 CNN 和 RNN ，目前大热的Bert就是基于Transformer构建的，这个模型广泛应用于NLP领域，例如机器翻译，问答系统，文本摘要和语音识别等等方向..._transformer

在VScode 中使用EASYX详细教程（VScode+MSVC+Easy X）_easyx vscode 使用方法-程序员宅基地

文章浏览阅读2.8w次，点赞38次，收藏193次。在VScode 中使用EASYX详细教程众所周知，vscode是一款强大的IDE，深受广大码友喜爱，博主曾尝试过用它实现各种脱离特定平台的写码，这里给大家介绍vscode配置EASYX的详细教程。1.配置MSVC编译环境首先要知道的是EASYX官方库只支持vs的编译器，不支持MinGW，除非是自己从github上下的代码重新编译过的并且封装的库。可以借鉴一下其他优秀博主的教程，这里不详细介绍。参考教程1参考教程2教程2没有包含vs的库，所以每次编译都要从vs的develop模式进入，有些麻烦_easyx vscode 使用方法

【CPCI、CNKI】第二届旅游管理与产业经济国际学术会议(TMIE 2023)-程序员宅基地

文章浏览阅读52次。旅游管理、产业经济、环境可持续发展

软件测试——分类-程序员宅基地

文章浏览阅读115次。转载：https://www.cnblogs.com/findyou/p/6480411.html参考：https://blog.csdn.net/daboluo521/article/details/813850171、按开发阶段：单元测试、集成测试、系统测试、验收测试2、按测试实施组织：α、β、第三方3、按测试执行方式：静态测试、动态测试4、按是否查看代码：黑盒测试、白盒测试、灰盒测试5..._用户界面测试属于功能层吗

360画报壁纸/360动态锁屏壁纸在哪个文件夹，保存方法_360bkinfo-程序员宅基地

文章浏览阅读3.6k次。360动态屏保壁纸/360画报壁纸/360浏览器锁屏壁纸 保存方法教程保存路径_360bkinfo

推荐文章

热门文章

相关标签