本文并没有解决掉bug～
样例代码：
spark_df=spark.createdataframe(pandas_df)
注：pandas_df是一个pandas dataframe变量
报错信息：
session.py line 584 createDataFrame
session.py line 420 in _createFromLocal
context.py line 474 in parallelize
context.py line 399 defaultParallelism
AttributeError：“Nonetype” object has no attribute “defaultParallelism”
解决思路：
1、NoneType一般都是数据出问题
fillna将None都替换为‘’后，仍报错。
fillna将None都替换为‘-999’后，仍报错。
2、除了pandas_df只有一个变量就是spark,所以看看spark
首先在NoteBook中输入spark??查看，
找到的createDataFrame方法，也找到了报错信息中提到的_createFromLocal
继续深挖_createFromLocal中的parallelize,
parallelize中的defaultParallelism
发现整个调用大概是
定位至spark中某个属性为Nonetype
于是乎,决定print所有涉及到的对象,看看会发生什么
print(spark) print(spark._sc)
print(spark._sc.parallelize)
print(spark._sc._jsc.str)
print(spark._sc._jsc)
print(spark._sc.sc())
print(spark._sc.sc().defaultParallelism)
在spark刚初始化结束,与报错前都添加了以上代码,奇怪的事情发生了…
某几个对象刚初始化是正常的,但在转pandasdataframe时,为null了.神奇.
然后就想看从spark初始化,到报错前,具体哪一小段代码,发生了对象为null的情况,
将以上print代码复制粘贴了7-8吧,重跑代码…
问题不能重现了,一直跑了20多遍的无法复现…
文章浏览阅读2.7k次。在开发在线考试系统中，需要实现用户_在线考试右侧增加试题跳转前端
文章浏览阅读1.1k次。 对ADC裸机程序设计做个总结： 首先是程序设计流程： 一、时钟频率设置 二、ADC初始化 1、转换通道选择(ADCCON寄存器中的[5:3]位) 2、转换频率设置(主要是设置预分频器的值)(ADCCON寄存器中的[13:6]位) 3、预分频器使能(ADCCON寄存器中的第14位) 三、读取AD转换值 1、转换启动(ADCCON寄存器中的第0位) 2、
文章浏览阅读733次。lighttpd 状态机目前由11个状态组成，每一个连接逐步经过这些状态，有些状态比较特殊，可能会执行不到._lihttpd状态机
文章浏览阅读1.6k次，点赞2次，收藏13次。一、C++语言特性性能分析简介通常大多数开发人员认为，汇编语言和C语言比较适合编写对性能要求非常高的程序，C++语言主要适用于编写复杂度非常高但性能要求并不是很高的程序。因为大多数开发人员认为，C++语言设计时因为考虑到支持多种编程模式（如面向对象编程和范型编程）以及异常处理等，从而引入了太多新的语言特性。新的语言特性往往使得C++编译器在编译程序时插入了很多额外的代码，会导致最终生成的二进制代码体积膨胀，而且执行速度下降。但事实并非如此，通常一个程序的速度在框架设计完成时大致已经确定，而并非因为采_c++性能优化大局观
文章浏览阅读316次。1、充分利用网络资源和网络渠道在《论语•雍也》一节中，我国古代伟大的教育家孔子曾经说过“知之者不如好之者，好之者不如乐之者。”意思是说学会知识的人不如爱好知识的人，爱好知识的人不如乐于学习的人。这就充分地说明了学习成为人们的一种爱好，并且乐在其中，那才是真正地调动起学生的学习积极性。那么，我们教师需要怎样调动起学生对大学计算机基础的学习热情和积极性呢？经过笔者的思考和实践，认为最好的方式是充分利用..._大学生学习计算机应用基础过程中的好处
文章浏览阅读564次，点赞5次，收藏2次。这是本系列第一个实战项目的第七节，与前六节相关的内容请访问小远的主页。（上一节的链接）上一节我们已经对前程无忧爬虫岗位中前十页的工作的详细信息经处理后存入Excel表，具体效果请参见上一节的链接原本打算这一篇文章做画图的，但是小远另一个关于pyecharts系列的文章还没写完（刚刚写到柱状图），而我的打算是将这个项目与那一个系列的文章串起来说的，所以先放一放。今天的内容，是小远临时起意想到的。前面敲了那么多代码，劈里啪啦从上写到下，不好看，用我Python老师的话说就是“不优雅”。所以今天的任务_51job爬虫架构设计
文章浏览阅读2.7k次。路飞看起来说话做事脑子不转弯。但他是个大智若愚的人。很清楚自己应该干什么。有着天生做王者的魄力与霸气。虽然路飞有时说话不经过大大脑，让人想生气都提不起劲。但没几个人敢真正说路飞不聪明。路飞看起来说话做事脑子不转弯。但他是个大智若愚的人。很清楚自己应该干什么。有着天生做王者的魄力与霸气。虽然路飞有时说话不经过大大脑，让人想生气都提不起劲。但没几个人敢真正说路飞不聪明。 从他最开始不露痕迹地帮助..._我心目中的英雄路飞
文章浏览阅读971次。1.一些数字可以颠倒过来看，例如 00、11、88 颠倒过来还是本身，66 颠倒过来是 99，99 颠倒过来看还是 66，其他数字颠倒过来都不构成数字。类似的，一些多位数也可以颠倒过来看，比如 106106 颠倒过来是 901901。假设某个城市的车牌只由 55 位数字组成，每一位都可以取 00 到 99。请问这个城市最多有多少个车牌倒过来恰好还是原来的车牌？( )2.#include using namespace std;const int maxn = 10000;int n;int a[_一些数字可以颠倒过来看
文章浏览阅读2.3k次。RepBase目前不再免费提供，所以就有很多人邮件问我要。我当时在下载RepBase时，要求是不得私下传播，那么为了避免潜在的风险，至少我这里是不提供下载链接，也请不要发邮件给我。重复序列注释有两种常用策略，基于同源序列相似性和基于重复序列结构特征。其中基于同源序列相似性注释序列的常用工具就是RepeatMasker原本的RepeatMasker的手动安装需要配置很多文件，..._repbase数据库不能免费使用,怎么办?
文章浏览阅读9.8k次，点赞12次，收藏58次。目录前言：准备条件：用到的微信接口代码：效果：总结：前言： 最近其他项目组需要在微信公众号里面调用微信的扫一扫功能，于是就帮忙一起搞了搞，一开始以为挺简单，从网上搜一下教程弄一下就可以了，没成想还挺麻烦的，网上的教程呢好多都是会了不用看，不会的看了也没啥用的。于是自己在弄完以后想着写一篇博客，造福一下大家。希望对大家能有所帮助。准备条件： 1、ICP备案的域名，并且绑定对应的外网服务器。 用处：你写的扫一扫功能的代码只有放到这个域名所对..._微信公众号菜单含扫一扫功能的公众号 web
文章浏览阅读3.2k次。stagefright stagefright是android froyo版本引入的多媒体架构。android 4.1代码：文件目录 frameworks/av/media/libstagefright/生成库libstagefright.so主要的module：awesomeplayer其在MediaPlayerService中构造：player_type
文章浏览阅读1.9k次。上图：SMBJ5.0A,反向5V截止，当外部输入电压异常，超过5V，则该二极管就会反向击穿SMBJ3.3A，反向3.3V截止TC2117-3.3VDB：5V到3.3V转换芯片C1-C3，C7不同的电容，用于滤除不同频率的波C4/C5/C6用于储能PVD：可编程电压检测，当电压低于一定幅度，就进入中断，快速保存数据小封装电容，去耦效果较好..._5v截止