Spark

Spark入门（一篇就够了）

Spark 是当今大数据领域最活跃、最热门、最高效的大数据通用计算平台之一。尽管相对于而言具有较大优势，但并不能完全替代，主要用于替代中的计算模型。存储依然可以使用，但是中间结果可以存放在内存中；调度...

Spark 从入门到精通

spark 从入门到精通从spark集群搭建到案例 spark core spark streaming sparkSQL

spark3.0入门到精通

标签： spark

├─Spark-day01 │ 01-[了解]-Spark发展历史和特点介绍.mp4 │ 03-[掌握]-Spark环境搭建-Standalone集群模式.mp4 │ 06-[理解]-Spark环境搭建-On-Yarn-两种模式.mp4 │ 07-[掌握]-Spark环境搭建-On-Yarn-两种...

Spark详解

spark详解

大数据学习之 Spark 概述

标签： spark big data scala

Spark简介 Spark 是一种由 Scala 语言开发的快速、通用、可扩展的大数据分析引擎。 Spark主要由五部分组成： Spark Core Spark Core 中提供了 Spark 最基础与最核心的功能，Spark 其他的功能如：Spark SQL， Spark...

标签： JupyterNotebook

适用于Python的课程笔记本和适用于大数据的Spark 课程幻灯片：Python和大数据的火花 Spark DataFrames Spark DataFrames部分介绍 Spark DataFrame基础 Spark DataFrame操作分组和汇总功能缺失数据日期和时间戳 ...

Spark简介以及最详细安装教程

首先来聊聊什么是Spark?为什么现在那么多人都用Spark? Spark简介： Spark是一种通用的大数据计算框架,是基于**RDD（弹性分布式数据集）**的一种计算模型。那到底是什么呢？可能很多人还不是太理解，通俗讲就是可以...

Spark简介

标签： spark 大数据 hadoop

同时，Spark 还可以与多种存储系统和数据源集成，并提供了丰富的语言接口和集群管理器集成，以满足不同的数据处理和分析需求。此外，Spark 还提供了丰富的机器学习和图处理库，以支持大规模数据集的机器学习和图处理...

（一）spark是什么？

标签： spark big data 大数据

1.spark是什么？ spark是一个用来实现快速，通用的集群计算平台 spark适用于各种各样原先需要多种不同的分布式平台的场景，包括批处理，迭代算法，交互式查询，流处理。通过在一个统一的框架下支持这些不同的计算，...

spark简介

标签： Spark简介

Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，...

手把手带你玩转Spark机器学习-Spark的安装及使用

标签： spark big data hadoop

本文首先介绍了Spark的基础知识以及RDD和DataFrame这些核心概念，然后演示了如何下载Spark二进制版本并搭建一个本地单机模式下的开发环境，最后通过Python语言来编写第一个Spark程序。

Spark系列(一)spark简介及安装配置

标签： spark 大数据 hadoop

什么是Spark：Spark是一个用于大规模数据处理的统一计算引擎注意：Spark不仅仅可以做类似于MapReduce的离线数据计算，还可以做实时数据计算，并且它还可以实现类似于Hive的SQL计算，等等，所以说它是一个统一的计算...

大数据Hadoop之——Spark on Hive 和 Hive on Spark的区别与实现

标签： spark hadoop 大数据

文章目录一、Spark on Hive 和 Hive on Spark的区别1）Spark on Hive2）Hive on Spark（本章实现）二、Hive on Spark实现1）编译hive1、下载hive2、编译hive3、解压hive4、下载spark5、打包spark jar包并上传到HDFS6...

Spark集群部署和启动与关闭

标签： Spark Standalone Messos

YARN（Spark on YARN模式）是一款资源调度管理系统，支持动态资源分配策略，可以为Spark提供资源调度服务，由于在生产环境中，很多时候都要与Hadoop同在一个集群，所以采用YARN来管理资源调度，可以降低运维成本和...

Spark框架概述

标签： spark scala 大数据

定义：Apache Spark是用于处理的。弹性分布式数据集RDD是一种分布式内存抽象，其使得程序员能够在大规模集群中做内存运算，并且有一定的容错方式。而这也是整个Spark的核心数据结构，Spark整个平台都围绕着RDD进行。...

Java-Spark系列7-Spark streaming介绍

标签： spark Spark Streaming Spark准实时

文章目录一.Spark streaming介绍1.1 Spark streaming简介1.2 Spark 与storm区别1.3 一个简单的例子二.Spark Streaming的组件介绍2.1 Streaming Context2.2 Dstream(离散流)2.1 Receiver2.2 数据源2.3 可靠性2.4 ...

Spark SQL 内置函数（二）Map Functions（基于 Spark 3.2.0）

标签： spark sql

前言本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！...如果索引大于数组长度或者spark.sql.ansi.enabled 设置成 false，则函数返回 N

Spark开发-Spark内存溢出原因以及解决方式

标签： spark jvm java

Spark内存溢出堆内内存溢出堆外内存溢出堆内内存溢出具体说明Heap size JVM堆的设置是指java程序运行过程中JVM可以调配使用的内存空间的设置.JVM在启动的时候会自动设置Heap size的值，Heap size 的大小是Young ...

spark-core_2.11-1.5.2.logging.jar

标签： spark-core 2.11-1.5.2 logging jar

spark-core_2.11-2.0.0.jar比spark-core_2.11-1.5.2.jar少了org.apache.spark.Logging.class，故此把缺少的class放到spark-core_2.11-1.5.2.logging.jar里面

Java-Spark系列8-Spark streaming整合Kafka

标签： Spark Streaming Spark + kafka Spark准实时

Spark streaming整合Kafka概述1.1 Maven配置1.2 创建Direct Stream1.3 定位策略1.4 消费者的策略1.5 创建RDD1.6 获得Offsets1.7 存储 Offsets1.8 检查点1.9 Kafka自身1.10 自身数据存储二.Spark Streaming整合Kafka...

(超详细) Spark环境搭建（Local模式、 StandAlone模式、Spark On Yarn模式）

标签： hadoop spark 大数据

Spark环境搭建 JunLeon——go big or go home 目录 Spark环境搭建一、环境准备 1、软件准备 2、Hadoop集群搭建 3、Anaconda环境搭建二、Spark Local模式搭建 1、Spark下载、上传和解压 2、配置环境...

【Spark】spark-submit作业提交及参数设定

标签： spark 大数据

随着 application 的增加，需要不断安装新的包，而且不同 application 可能存在版本问题，这对于 client 模式来说或许还可以接受，但 cluster 模式肯定不行的，如果集群很大，装环境会很麻烦。在 client 模式下，...

Java-Spark系列6-Spark SQL编程实战

标签： SparkSQL实战 DataFrame API Spark SQL

文章目录一.Spark DataFrame概述1.1 创建DataFrame1.1.1 通过json文件创建DataFrame1.1.2 通过CSV文件创建DataFrame1.1.3 通过hive table创建DataFrame1.1.4 通过jdbc数据源创建DataFrame二.Spark SQL实战2.1 ...

spark安装以及hive on spark和spark on hive 的配置

标签： spark hive hadoop

安装spark版本为已经编译好的spark-3.2.1-bin-hadoop3.2-scala2.13.tgz，其同样兼容hadoop-3.3.2； Hive on Spark(为hive配置spark引擎)：Hive既作为存储元数据又负责SQL的解析优化，语法是HQL语法，执行引擎变成了...

Java-Spark系列10-Spark性能调优概述

标签： Spark优化 Spark数据倾斜 Spark参数调整

文章目录一.Spark 性能优化概述二.运行环境优化2.1 数据本地性2.2 数据存储格式三.RDD算子优化3.1 尽可能复用同一个RDD3.2 对多次使用的RDD进行持久化四.参数微调五.数据倾斜六. Spark常用的调优参数6.1 在内存中...

Spark快速数据处理

标签： Spark 数据处理

Spark是一个通用的并行分布式计算框架，由UCBerkeley的AMP实验室开发。Spark使得程序员更容易地编写分布式应用，并且能够根据自己的喜好使用Scala、Java或者Python作为开发语言。本书系统讲解了Spark的应用方法，...

Centos7上安装配置Spark

标签： spark

该文章主要是描述单机版Spark的简单安装，版本为 spark-3.1.3-bin-hadoop3.2.tgz 1、Spark 下载、解压、安装 Spark官方网站： Apache Spark™ - Unified Engine for large-scale data analytics Spark下载地址：...