python dataframe去除空值_python-从pyspark DataFrame 中删除空列_weixin_39773817的博客-程序员秘密

技术标签： python dataframe去除空值

我对pyspark的经验很少，但创建一个包含counts的 DataFrame 并将其 transformation为panda可能不是一个坏主意，因为counts DataFrame 只有一行：

从如下所示并保存为空 DataFrame 开始

+---+---+---+----+

| A| B| C| D|

+---+---+---+----+

| 1| a| b|null|

| 2| c| d|null|

| 3| e| f|null|

+---+---+---+----+

import pyspark.sql.functions as F

counts = null_df.select([F.count(i).alias(i) for i in null_df.columns]).toPandas()

output = null_df.select(*counts.columns[counts.ne(0).iloc[0]])

或者甚至把第一行 transformation成字典，然后循环遍历字典

counts1 = null_df.select([F.count(i).alias(i) for i in null_df.columns])

output2 = null_df.select([k for k,v in counts1.first().asDict().items() if v >0])

它给出了以下信息：

+---+---+---+

| A| B| C|

+---+---+---+

| 1| a| b|

| 2| c| d|

| 3| e| f|

+---+---+---+

在我的系统中 test的基准：

%%timeit

counts = null_df.select([F.count(i).alias(i) for i in null_df.columns]).toPandas()

output = null_df.select(*counts.columns[counts.ne(0).iloc[0]])

#8.73 s ± 412 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

%%timeit

counts1 = null_df.select([F.count(i).alias(i) for i in null_df.columns])

output2 = null_df.select([k for k,v in counts1.first().asDict().items() if v >0])

#9.43 s ± 253 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

%%timeit

counts1 = null_df.select([F.count(i).alias(i) for i in null_df.columns])

output1 = null_df.select([c for c in counts1.columns if counts1[[c]].first()[c] > 0])

#35.3 s ± 1 s per loop (mean ± std. dev. of 7 runs, 1 loop each)

本文链接：https://blog.csdn.net/weixin_39773817/article/details/110905612

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

SparkSQL整合Hive_set spark-sql_清梦清河的博客-程序员秘密

SparkSQL整合Hive1、Hive远程模式2、SparkSQL与Hive共用元数据2.1、开启Hive元数据服务2.1.1、修改配置2.1.2、启动服务2.2、拷贝hive-site.xml与mysql驱动2.3、启动SparkSQL2.4、测试使用3、SparkSQL JDBC连接方式3.1、启动Spark JDBC服务3.2、启动beeline3.3、测试使用1、Hive远程模式SparkSQL整合Hive需要明白如下结构图2、SparkSQL与Hive共用元数据2.1、开启Hive元数

离散傅里叶变换----解释的最透彻的|包括定义物理意义_离散傅立叶变换会产生什么效应_夏日里的猫的博客-程序员秘密

1. 傅里叶变换的集中形式及应用傅立叶变换是以时间为自变量的信号和以频率为自变量的频谱函数之间的一种变换关系。由于自变量时间和频率可以是连续的，也可以是离散的，因此可以组成几种不同的变换对。（1）非周期的连续时间，连续频率-----傅里叶变换正变换 X(jΩ)={-∞,+∞}x(t)*exp^-jΩt dt 反

机器学习十交叉验证_爱吃莴苣笋的博客-程序员秘密

交叉验证（Cross Validation）定义（摘自百度百科）：交叉验证的基本思想是把在某种意义下将原始数据(dataset)进行分组,一部分做为训练集(train set),另一部分做为验证集(validation set or test set),首先用训练集对分类器进行训练,再利用验证集来测试训练得到的模型(model),以此来做为评价分类器的性能指标。目的：为了获

Python：Python多种集成开发环境(IDE，编译器)的简介、安装、入门、使用方法之详细攻略_.在python中常见的ide(集成开发环境)有: 、、、、方式。_一个处女座的程序猿的博客-程序员秘密

Python：Python多种集成开发环境(IDE，编译器)的简介、安装、入门、使用方法之详细攻略目录Python多种编译器的简介、安装、入门、使用方法1、Anaconda2、ipython2.1、ipython简介2.2、进入ipython3、Spyder3.1、Spyder简介3.3、Spyder安装3.3、Spyder界面...

python实现猜数字游戏(数字炸弹)_young joker的博客-程序员秘密

猜数字游戏import random num=random.randint(1,100)print(num)随机数出一个0~100的整数，成为数字炸弹。i=0while i <= 5: a=int(input()) i=i+1 if a < num: print("数字偏小"); elif a > num: print("数字偏大"); elif a == num: print("回答正确

java volatile关键字 transien 关键字_weixin_33854644的博客-程序员秘密

为什么80%的码农都做不了架构师？>>> ...