Spark中RDD的理解-程序员宅基地
1.什么是RDD？
RDD：RDD是Spark的计算模型 RDD（Resilient Distributed Dataset）叫做弹性的分布式数据集合，是Spark中最基本的数据抽象，它代表一个不可变、只读的，被分区的数据集。
操作RDD就像操作本地集合一样，数据会被分散到多台机器中（以分区为单位）。
RDD是Spark中的一个基本抽象（可以理解为代理）
有了RDD，就可以像操作本地的集合一样，有很多的方法可以调用，使用方便，而无需关心底层的调度细节。
2.RDD操作类型
RDD中算子可分为两类：
RDD支持的两中类型的操作：
转换（Transformation）：现有的RDD通过转换生成一个新的RDD。lazy模式，延迟执行。
转换的函数：map，filter，flatmap，groupByKey，reduceBykey，aggregateByKey，union，join，coalesce等等。
动作（Action）：在RDD上运行计算，并返回结果给驱动程序（Drive）或写入文件系统。
动作操作函数：reduce,collect,count,frist,take,countByKey以及foreach等等。
collect该方法把数据收集到driver端 Array数组类型
所有的transfromation只有遇到action才能执行。
当触发执行action之后，数据类型就不再是RDD了，数据就会存到指定的文件系统中，或者直接打印结果或者收集起来。
RDD操作流程示意：
RDD的运行逻辑：
如下图所示，在Spark应用中，整个执行流程在逻辑上运算之间会形成有向无环图。Action算子触发之后会将所有累积的算子形成一个有向无环图，然后由调度器调度该图上的任务进行运算。
Spark的调度方式与MapReduce有所不同。Spark根据RDD之间不同的依赖关系切分形成不同的阶段（Stage），一个阶段包含一系列函数进行流水线执行。
图中的A、B、C、D、E、F、G，分别代表不同的RDD，RDD内的一个方框代表一个数据块。数据从HDFS输入Spark，形成RDD A和RDD C，RDD C上执行map操作，转换为RDD D，RDD B和RDD F进行join操作转换为G，而在B到G的过程中又会进行Shuffle。最后RDD G通过函数saveAsSequenceFile输出保存到HDFS中。
RDD的转换与操作：
wordcount实例,查看lazy特性。
只有在执行action时，才会真正开始运算，才能得到结果或储存到文件中。
3.创建RDD
1）集合并行化创建（通过scala集合创建）scala中的本地集合------> spark RDD
val arr=Array（1 to 10）
val rdd=sc.parallelize（arr）
val rdd=sc.makeRDD（arr）
2)
//读取外部文件系统，比如HDFS等
val rdd2 = sc.textFile(“hdfs://hdp-nn-01:9000/words.txt”)
//读取本地文件
val rdd2 = sc.textFile(“file:///root/words.txt”)
3)从父RDD转换成新的子RDD,最常用方式
调用Transformation 类的方法，生成新的RDD
4.RDD的分区：
rdd中和文件切片相关的概念叫做分区，也就是说对rdd进行操作，实际上是操作的rdd中的每一个分区，分区的数量决定了并行的数量。
使用rdd.partitions.size或者rdd.partitions.length查看分区数量。
智能推荐
Linux驱动开发: USB驱动开发_linux usb 通信从设备开发-程序员宅基地
文章浏览阅读7k次，点赞86次，收藏192次。一、USB简介1.1 什么是USB? USB是连接计算机系统与外部设备的一种串口总线标准，也是一种输入输出接口的技术规范，被广泛地应用于个人电脑和移动设备等信息通讯产品，USB就是简写，中文叫通用串行总线。最早出现在1995年，伴随着奔腾机发展而来。自微软在Windows 98中加入对USB接口的支持后，USB接口才推广开来，USB设备也日渐增多，如数码相机、摄像头、扫描仪、游戏杆、打印机、键盘、鼠标等等，其中应用最广的就是摄像头和U盘了。 USB包括老旧的USB 1.1标准..._linux usb 通信从设备开发
注意: 如果你使用的是zsh，终端启动时 ~/.bash_profile 将不会被加载，解决办法就是修改 ~/.zshrc ，在其中添加：source ~/.bash_profile_如果你使用终端是zsh,终端启动时 ~/.bash_profile 将不会被加载,解决办法就是修改-程序员宅基地
文章浏览阅读2.6k次。Mac搭建Flutter环境_如果你使用终端是zsh,终端启动时 ~/.bash_profile 将不会被加载,解决办法就是修改
Qt知识点梳理 —— 代码实现菜单栏工具栏-程序员宅基地
文章浏览阅读379次，点赞5次，收藏9次。在清楚了各个大厂的面试重点之后，就能很好的提高你刷题以及面试准备的效率，接下来小编也为大家准备了最新的互联网大厂资料。《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》点击传送门即可获取！家准备了最新的互联网大厂资料。[外链图片转存中…(img-VMQDYeXz-1712056340129)][外链图片转存中…(img-JqBcGpUE-1712056340130)][外链图片转存中…(img-7Rrt8dF9-1712056340130)]
《设计模式入门》 9.代理模式_cglib需要引入第三方包-程序员宅基地
文章浏览阅读448次。代理模式可以说是我们在java学习中非常常见的一个设计模式了，在很多地方我们都可以看到代理模式的影子。比如：Spring 的 Proxy 模式（AOP编程 ）AOP的底层机制就是动态代理 mybatis中执行sql时mybatis会为mapper接口通过jdk动态代理的方法生成接口的实现类 Feign对于加了@FeignClient 注解的类会在Feign启动时，为其创建一个本地JDK Proxy代理实例，并注册到Spring IOC容器可以看出，代理模式就是给..._cglib需要引入第三方包
前端开发：JS中向对象中添加对象的方法_一个对象如何添加另一个对象-程序员宅基地
文章浏览阅读1w次，点赞2次，收藏6次。在前端开发过程中，一切皆对象，尤其是在数据处理的时候，大部分时候也是处理对象相关的数据，所以对象在JS中是很重要的一个内容，也是必用的内容。本篇博文来分享一下关于在JS中对象里面添加对象的操作，虽然知识点不难，但是常用，所以总结一下存起来，方便查阅使用。通过本文的介绍，关于在JS中对象里面添加对象的操作就得心应手了，虽然该知识点不难但是重要和常用，尤其是对于刚接触前端开发不久的开发者来说更是如此，所以绝对掌握该知识点还是很有必要的，重要性不再赘述。欢迎关注，共同进步。_一个对象如何添加另一个对象
迁移学习在自然语言生成中的研究-程序员宅基地
文章浏览阅读257次，点赞3次，收藏8次。1.背景介绍自然语言生成(Natural Language Generation, NLG)是一种将计算机理解的结构化信息转换为自然语言文本的技术。自然语言生成可以用于多种应用，如机器翻译、文本摘要、对话系统等。随着深度学习技术的发展，自然语言生成的表现力得到了显著提高。迁移学习(Transfer Learning)是一种机器学习技术，它可以将在一个任务上学到的知识应用于另一个相关任务。在...
随便推点
SpringBoot引入第三方jar包或本地jar包的处理方式_springboot idea 直接启动 target 第三方 jar 包-程序员宅基地
文章浏览阅读262次。在开发过程中有时会用到maven仓库里没有的jar包或者本地的jar包，这时没办法通过pom直接引入，那么该怎么解决呢一般有两种方法第一种是将本地jar包安装在本地maven库 第二种是将本地jar包放入项目目录中这篇文章主要讲第二种方式，这又分两种情况，一种是打包jar包，第二种是打包war包jar包 先看看jar包的结构 用压缩工具打开一个jar包 打包后jar包的路径在BOOT-INF\lib目录下 ..._springboot idea 直接启动 target 第三方 jar 包
软件压力测试图片60张,Win10 64位用鲁大师界面cpu温度60上下,显卡40多。用压力测试7-8分钟cpu75左右,...-程序员宅基地
文章浏览阅读1.4k次。CPU正常情况下45-65℃或更低，夏天或者玩游戏时，温度会高点，不超过80都属于正常温度。高于80℃时，需要采取措施：要检查CPU和风扇间的散热硅脂是否失效；更换CPU风扇；给风扇除尘；在通风或者空调间中使用机器。显卡温度：显卡一般是整个机箱里温度最高的硬件，常规下50-70℃(或更低)，运行大型3D游戏或播放高清视频的时候，温度可达到100℃左右，一般高负载下不超过110℃均视为正常范畴。如有..._windows cpu gpu 压测
Mac系统制作U盘安装盘，不能识别U盘的情况_making disk bootable不动-程序员宅基地
文章浏览阅读2.3w次，点赞2次，收藏5次。遇到的问题：OS10.12系统，使用Mac系统自带的磁盘工具，通过恢复来制作的U盘安装盘，开机按住option键，没有U盘的这个选项。原因：使用磁盘工具恢复，没有创建启动文件，使用命令行能创建。U盘抹掉，分区名为1。sudo /Applications/Install\ OS\ X\ El\ Capitan.app/Contents/Resources/createinstal_making disk bootable不动
LOJ6089 小Y的背包计数问题 背包、根号分治-程序员宅基地
文章浏览阅读129次。题目传送门题意：给出$N$表示背包容量，且会给出$N$种物品，第$i$个物品大小为$i$，数量也为$i$，求装满这个背包的方案数，对$23333333$取模。$N \leq 10^5$$23333333=17 \times 1372549$竟然不是质数性质太不优秀了（雾直接跑背包$O(N^2)$，于是咱们考虑挖掘性质、分开计算发现当$i < \sqrt{N}$时就是一个多..._背包 根号
验证码-程序员宅基地
文章浏览阅读110次。用.net实现网站验证码功能 收藏 一、验证码简介验证码功能一般是用于防止批量注册的，不少网站为了防止用户利用机器人自动注册、登录、灌水，都采用了验证码技术。所谓验证码，就是将一串随机产生的数字或字母或符号或文字，生成一幅图片， 图片里加上一些干扰象素（防止OCR），由用户肉眼识别其中的验证码信息，输入表单提交网站验证，验证成功后才能使用某项功能。常见的验证码有如下几种： 1、纯..._验证码的样本标签,是5个字符,每个字符的可能 取值范围是'0'~'9'、'a'~'z'共36
ImportError: undefined symbol: cudaSetupArgument_undefinded symbol: cudasetupargument-程序员宅基地
文章浏览阅读2.7k次，点赞2次，收藏3次。ImportError: undefined symbol: cudaSetupArgumentubuntu16.04How to solve?Step1.pip install -U torchvision==0.4.0链接: link.Step2.Problem:ImportError: cannot import name ‘PILLOW_VERSION’ from ‘PI..._undefinded symbol: cudasetupargument