Spark概述_大数据spark是什么意思-程序员宅基地

技术标签： spark 大数据

Spark概述

一、什么是Spark

Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。

Hadoop主要解决，海量数据的存储和海量数据的分析计算。

二、Hadoop与Spark历史

在这里插入图片描述

Hadoop的Yarn框架比Spark框架诞生的晚，所以Spark自己也设计了一套资源调度框架。

三、Hadoop与Spark框架对比

在这里插入图片描述

四、 Spark内置模块

在这里插入图片描述

Spark Core：实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core中还包含了对弹性分布式数据集(Resilient Distributed DataSet，简称RDD)的API定义。

Spark SQL：是Spark用来操作结构化数据的程序包。通过Spark SQL，我们可以使用 SQL或者Apache Hive版本的HQL来查询数据。Spark SQL支持多种数据源，比如Hive表、Parquet以及JSON等。

Spark Streaming：是Spark提供的对实时数据进行流式计算的组件。提供了用来操作数据流的API，并且与Spark Core中的 RDD API高度对应。

Spark MLlib：提供常见的机器学习功能的程序库。包括分类、回归、聚类、协同过滤等，还提供了模型评估、数据导入等额外的支持功能。

Spark GraphX：主要用于图形并行计算和图挖掘系统的组件。

集群管理器：Spark设计为可以高效地在一个计算节点到数千个计算节点之间伸缩计算。为了实现这样的要求，同时获得最大灵活性，Spark支持在各种集群管理器（Cluster Manager）上运行，包括Hadoop YARN、Apache Mesos，以及Spark自带的一个简易调度器，叫作独立调度器。

Spark得到了众多大数据公司的支持，这些公司包括Hortonworks、IBM、Intel、Cloudera、MapR、Pivotal、百度、阿里、腾讯、京东、携程、优酷土豆。当前百度的Spark已应用于大搜索、直达号、百度大数据等业务；阿里利用GraphX构建了大规模的图计算和图挖掘系统，实现了很多生产系统的推荐算法；腾讯Spark集群达到8000台的规模，是当前已知的世界上最大的Spark集群。

五、Spark特点

在这里插入图片描述

本文链接：https://blog.csdn.net/weixin_42796403/article/details/111499675

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

毕业设计基于协同过滤的电影推荐系统-程序员宅基地

文章浏览阅读958次，点赞21次，收藏24次。今天学长向大家分享一个毕业设计项目基于协同过滤的电影推荐系统项目运行效果：项目获取：https://gitee.com/assistant-a/project-sharing21世纪是信息化时代，随着信息技术和网络技术的发展，信息化已经渗透到人们日常生活的各个方面，人们可以随时随地浏览到海量信息，但是这些大量信息千差万别，需要费事费力的筛选、甄别自己喜欢或者感兴趣的数据。对网络电影服务来说，需要用到优秀的协同过滤推荐功能去辅助整个系统。系统基于Python技术，使用UML建模，采用Django框架组合进行设

国能日新光伏功率预测大赛的总结_国能日新第二届光伏功率预测赛-程序员宅基地

文章浏览阅读1.4w次，点赞19次，收藏86次。目录写在前面的话关于比赛数据和特征工程1. 时间2.float数据3.category数据4.其他特征关于特征选择关于模型调参关于模型融合反思和总结写在前面的话人生第二次打比赛，一开始是单打独斗，完全陌生的业务场景，我根据能搜索到的Tips疯狂尝试，在别人那里好用的Trick，在我这里效果却疯狂下降，期间也通过开源的baseline学到了提..._国能日新第二届光伏功率预测赛

Android webView 缓存 Cache + HTML5离线功能解决_hllofflinewebview-程序员宅基地

文章浏览阅读9.4k次。WebView的缓存可以分为页面缓存和数据缓存。页面缓存是指加载一个网页时的html、JS、CSS等页面或者资源数据。这些缓存资源是由于浏览器的行为而产生，开发者只能通过配置HTTP响应头影响浏览器的行为才能间接地影响到这些缓存数据。他们的索引存放在/data/data/package_name/databases下。他们的文件存放在/data/data/p_hllofflinewebview

如何在树莓派部署Nginx并实现无公网ip远程访问内网制作的web网站-程序员宅基地

文章浏览阅读2.1k次，点赞90次，收藏86次。相比其他 Web 服务器，Nginx 的内存占用率非常低，可以在树莓派等资源受限的设备上运行。要注意的是，以上步骤使用的是随机临时地址,该公网地址24小时内会随机变化。打开浏览器，我们来测试一下访问配置成功的二级子域名，出现nginx欢迎界面表示成功,可以正常访问。然后打开在线隧道列表,查看创建隧道的公网地址,默认有两种访问方式,一种是http 另一种是https,复制http地址。，可以看到nginx隧道的公网地址，已经更新为二级子域名了，将公网地址复制下来。，找到需要配置二级子域名的隧道，点击右侧的。

向量相似度java_特征向量相似度和距离的计算-程序员宅基地

文章浏览阅读341次。1/*2特征向量相似度和距离的计算34相似度：5·夹角余弦6·相关系数7·Dice8·Jaccard910距离11·明氏距离12·欧氏距离13·马氏距离14·Jffreys&Matusita距离15·Mahalanobis距离，未实现，协方差矩阵16·Camberra距离(Lance距离，Williams距离)17*/1819#inclu..._java 计算特征向量的相似度

Linux性能测试工具_ubuntu显卡测试工具-程序员宅基地

文章浏览阅读2.1k次。Linux系统出现问题时，我们不仅需要查看系统日志信息，而且还要使用大量的性能监测工具来判断究竟是哪一部分（内存、CPU、硬盘……）出了问题。在Linux系统中，所有的运行参数保存在虚拟目录/proc中，换句话说，我们使用的性能监控工具取到的数据值实际上就是源自于这个目录，当涉及到系统高估时，我们就可以修改/proc目录中的相关参数了，当然有些是不能乱改的。下面就让我们了解一下这些常用的性能监控工_ubuntu显卡测试工具

随便推点

计算机毕业设计Node.js+Vue基于Web美食网站设计(程序+源码+LW+部署)_基于vue美食网站源码-程序员宅基地

文章浏览阅读239次。该项目含有源码、文档、程序、数据库、配套开发软件、软件安装教程。欢迎交流项目运行环境配置：项目技术：Express框架 + Node.js+ Vue 等等组成，B/S模式 +Vscode管理+前后端分离等等。环境需要1.运行环境：最好是Nodejs最新版，我们在这个版本上开发的。其他版本理论上也可以。2.开发环境：Vscode或HbuilderX都可以。推荐HbuilderX;3.mysql环境：建议是用5.7版本均可4.硬件环境：windows 7/8/10 1G内存以上；_基于vue美食网站源码