技术标签： pandas
注意：
drop和concat系方法axis=0，axis=1列，其它大多数与之相反
1、描述统计：
（1）查看整体描述统计describe（）
（2）数据分组pd.cut()
2、缺失值的表现形式：不区分大小写 NAN nan NaN 都是空
3、怎么创建缺失值：None 或者np.nan
4、pandas处理缺失值
判断
isnull()检测整张表中的缺失值的数据
df.isnull().any(axis=1)判断哪行中有空值 因为是按列的数据统计的 所以axis=1
df.isnull().any(axis=0)判断哪列中有空值。。
df.notnull().all(axis=1)判断哪些行中有非空值。。
df.notnull().all(axis=0)判断哪些列中有非空值。。
df.notnull() True 是非空 False是空值
删除
根据drop函数进行删除
首先要取索引 然后再删除
index=df[df.isnull().any(axis=1)].index
df.drop(labels=index,axis=0)
dropna()直接删
通过布尔取值
df[df.isnull().any(axis=1)] dataframe数据
df[df.notnull().all(axis=1)] 结果是行的结果 但是数据是按列统计的 所以axis=1
dropna() 函数
axis 维度 axis=0 表示行 axis=1 表示列 columns默认为0
how all 表示这一行或者列中全都是空值（nan）才删除
any表示这一行或者列中至少有一个nan 就删除
thresh 保留至少n个非nan 的行或者列 注意是保留
inplace 筛选以后的新数据是否存为副本 True就是在原数据中直接保存
填充缺失值
fillna()
value
用户自己定义值进行空值的填充
axis参数
一般和method参数联用 axis=0 表示行 axis=1 表示列
inplace
True 表示对元数据进行修改
False表示不修改 默认是False
method
注意这个参数不能与value同时出现
method参数的取值 pad/ffill backfill/bfill, None
pad/ffill：用前一个非缺失值填充到该缺失值
backfill/bfill:用下一个非空值填充该空值
缺失值的计算
nan可以计算得，缺失值+任何数都等于缺失值nan
替代值 replace
data.replace(‘背包’，‘挎包’) 一对一的替换
data.replace([‘背包’，‘挎包’，‘...’,...],‘挎包’) 多对一的替换
data.replace({‘背包’：‘大大大包’，16:3600,30:5000})多对多替换
删除重复值
df.duplicated()判断重复数据记录 行与行之间进行的比较
df.drop_duplicated()删除的是为True的那一行数据
df.drop_duplicated(‘列名’) 删除列名中值相同的记录
df.drop_duplicated([‘列名1’,‘列名2’]) 删除这两列中数据重复的记录（一整行）
keep 参数
df.drop_duplicated(‘列名’，keep=‘last’) 如果有重复的话保留最后一个重复值 默认是保留第一个重复值
df.drop_duplicated(keep=False)删除所有的重复值
获取唯一值
df[‘列名’].unique()
df[‘列名’].nunique()返回的是唯一值的个数
排序
data.sort_valuse(by=‘列名’)默认是升序
data.sort_valuse(by=‘列名’，ascending=False)默认是降序
data.sort_index(ascending=False)
数据类型转换
astype
df['b'].astype(int)把float类型转换为int类型（b列是float类型）
有些时候列中数据类型不一致 怎么做数据类型转换
to_numeric() 可以把特殊的类型数据变成nan
然后再做空值填充
最后使用astype进行类型转换
时间类型的操作
to_datatime
修改日期格式
data[‘列名’]=pd.to_datatime(data[‘列名’])这个列中的数据一定是可以转换成时间的数据才行
将日期设置成索引
data.set_index(‘列名’,inplace=True)
进行布尔值判断
data.index < '2017-3-1'
或者
from datatime import datatime
data.index < datatime(2017，3，1)
提取整月的数据
data[data.index.month==1]
转成月或者年或者日
data.to_period('M') Y D
文章浏览阅读408次。 在ubuntu 8.04下安装Oracle 11g2008年05月22日 星期四 11:02oracle 11g 数据库虽然提供了linux x86的版本，但是支持的linux版本只有Red Hat，Novell and Solaris 这几个，debian 和 ubuntu 不在支持之列，所以在ubuntu下安装就相对麻烦一些，请照着下文的方法一步一步的安装，不
文章浏览阅读166次。新东方在线中考网整理了《初一英语下册语法知识点全汇总》，供同学们参考。一. 情态动词can的用法can+动词原形，它不随主语的人称和数而变化。1. 含有can的肯定句：主语+can+谓语动词的原形+其他。2. 含有can的否定句：主语+can't+动词的原形+其他。3. 变一般疑问句时，把can提前：Can+主语+动词原形+其他? 肯定回答：Yes，主语+can。否定回答：No，主语+can't...._七年级下册计算机知识点
文章浏览阅读3k次。在平时开发中，可能会遇到UFUN函数没有的功能，比如创建PTP的加工程序（我目前没找到，哪位大神可以指点一下），可以使用Grip创建PTP，然后用UFUN函数UF_call_grip调用Grip程序。具体如下截图（左侧UFUN,右侧Grip程序）：..._uf调用grip
文章浏览阅读156次。第一个：原生普通样式（随着主题不同，样式会变）第二个：原生普通样式-小icon第三个：自定义RatingBar 颜色第四个：自定义RatingBar DrawableRatingBar 各样式实现===============原生样式原生样式其实没什么好说的，使用系统提供的style 即可<RatingBarstyle="?android:attr/ratingBarStyleIndicator"android:layout_width=“wrap_cont.._ratingbar样式修改
文章浏览阅读4.6k次，点赞6次，收藏11次。安装vs2017：参考vs2017下载和安装。安装cmake3.12.3：cmake是一个工程文件生成工具。用户可以使用预定义好的cmake脚本，根据自己的选择（像是Visual Studio, Code::Blocks, Eclipse）生成不同IDE的工程文件。可以从它官方网站的下载页上获取。这里我选择的是Win32安装程序，如图所示：然后就是运行安装程序进行安装就行。配置glfw3...._vs2017的opengl环境搭建(完整篇)
文章浏览阅读976次。MLC NAND，UBIFS_ubifs warning
文章浏览阅读2.2k次。计算机系统的两种存储器形式介绍时间：2016-1-6计算机系统的存储器一般应包括两个部分;一个是包含在计算机主机中的主存储器,简称内存,它直接和运算器,控制器及输入输出设备联系,容量小,但存取速度快,一般只存放那些急需要处理的数据或正在运行的程序;另一个是包含在外设中的外存储器,简称外存,它间接和运算器,控制器联系,存取速度虽然慢,但存储容量大,是用来存放大量暂时还不用的数据和程序,一旦要用时,就..._计算机存储器系统采用的是主辅结构,主存速度快、容量相对较小,用于 1 分 程序,外
文章浏览阅读5.6k次。1. STEP 7（Simatic Manager）：STEP 7或者Simatic Manager是西门子PLC编程最常用的软件开发环境。4. STEP 7 MicroWin：STEP 7 MicroWn是一款专门针对微型PLC（S7-200系列PLC）的编程软件，是Simatic Manager的简化版。如果需要与PLC系统配合使用，则需要与PLC编程工具进行配合使用。除了上述软件之外，西门子还提供了一些配套软件和工具，如PLC模拟器、硬件调试工具等，以帮助PLC编程人员快速地进行调试和测试。_西门子plc编程软件
文章浏览阅读36次。【代码】HashMap扩容。_hashma扩容
文章浏览阅读2.9k次。1mvn dependency:copy-dependencies2 项目右键 -> Maven -> Disable Maven Nature3 项目右键 -> Configure -> Convert to Maven Project_maven资源加载不全,怎么重新加载
文章浏览阅读527次。DMLDML的全称是Database management Language，数据库管理语言。主要包括以下操作：insert、delete、update、optimize。本篇对其逐一介绍INSERT数据库表插入数据的方式：1、insert的完整语法：(做项目的过程中将字段名全写上，这样比较容易看懂)单条记录插入语法：insert into table_name (column_name1,......_dml的全称是
文章浏览阅读136次。可以参考： http://git.oschina.net/jrain-group/ 组织下的Java Modbus支持库Modbus-系列文章1、虚拟成对串口（1）下载虚拟串口软件VSPD（可在百度中搜索）image.png（2）打开软件，添加虚拟串口。在设备管理中，看到如下表示添加成功。..._最好用的 modebus调试工具