python 线性回归异常值_Python机器学习:异常值查找和处理-程序员宅基地

技术标签: python 线性回归异常值  

再一次的通过写文章的方式强化记忆,本文内容均来源于以上文章。先说如何处理检测到的异常值?

有些算法对异常值很敏感,如逻辑回归算法。如果不处理,用该算法拟合出来的模型的效果、精确度会很低。有些算法对异常值不敏感,可以不处理异常值。由于目前学习到的3种算法(线性回归、逻辑回归、随机森林),所以还是处理异常值

处理异常值可以像处理缺失值的方法一样:删除或用特殊值代替如何查找到异常值?查看数据的描述统计信息describe()

import pandas

df.describe() #只针对数值类型数据

2. 绘制散点图

3. 绘制数据分布图3σ原则:如果数据呈正态分布,异常值定义为超过3倍标准差的数值

如果数据不满足正态分布,也可以用远离平均值多少倍标准差来定义异常值

4. 四分位距法只取上四分位数(Q1)到下四分位数(Q3)之间的数据。

四分位距法:将数据从小到大排列,只取中间的50%。也就是25%到75%段的数据。可以有效剔除异常值(极大/极小值)。

计算四分位数 Q1、Q3

【例】给出一组数据:2 3 1 4 2 3 9 7 15 99 38 888 19

将它们从小到大重新排序:1 2 2 3 3 4 7 9 15 19 38 99 888

找出从整个数据的中位数Q2:7

找出从极小值到Q2这段数据的中位数Q1:3

找出Q2到极大值这段数据的中位数Q3:19

5. Tukey's test只取最小估计值到最大估计值之间的数据。

最小估计值=Q1-k(Q3-Q1)

最大估计值=Q1+k(Q3-Q1)<

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_39899244/article/details/110907105

智能推荐

在OpenCV中利用卷积进行图像滤波_卷积如何实现滤波的功能-程序员宅基地

文章浏览阅读1.5k次,点赞4次,收藏14次。简 介: 本文首先讨论了卷积核的概念,以及如何用于对图像进行滤波。然后通过他们对图像进行数学运算来实现特定的效果,比如平和和锐化。展示了如何在OpenCV中实现2D滤波。 在等同卷积卷积核之后,我们创建了更多定制的核,用在OpenCV中的 filter2D()函数中。 介绍了OpenCV中的重要内置函数MediaBlur(),GaussianBlur()。 最后展示了 OpenCV中的 bilateralFilter()函数,是如何在保留图片中清晰边缘的同时又平滑了图像。关键词: 中值滤波,平滑滤波,.._卷积如何实现滤波的功能

CentOS 7中文输入法安装教程_centos7安装中文输入法-程序员宅基地

文章浏览阅读4.9k次,点赞11次,收藏21次。*第四步:**双击 “汉语(中国)” >汉语(lntelligent Pinyin) > 添加。> 单击选中 “汉语(lntelligent Pinyin)” > 恭喜你成功啦 嘻嘻嘻。**第三步:**点击 “Region & Language” 接着点击 **“+”**号。**第二步:**打开 “系统工具” 下的 “设置”**第五步:**返回到桌面,在右上角单击。**第一步:**打开左上方应用程序。_centos7安装中文输入法

【数据结构之索引】-程序员宅基地

文章浏览阅读734次,点赞7次,收藏6次。索引是一种数据结构,数据库存储数据使用该结构,可以帮助我们高速的查询数据索引类似字典开头的目录,可以帮我们快速的定位到某些数据。

【数据结构复习04】队列的链式存储实现以及基本操作_用链队列作存储结构,实现队列(元素为整型)的基本运算。-程序员宅基地

文章浏览阅读640次。队列的链式存储实现以及基本操作队列的链式存储类型描述typedef struct Node{ //链式队列节点 int data; struct Node *next;}LinkNode;typedef struct Queue{ //链式队列 LinkNode *front,*rear; //队头与队尾指针}LiQueue;注意事项总体上和单链表的操作相同,只不过是存取受限。值得注意的是定义“链式队列”结构体时,要注意和单链表的定义不一样。“链式队列”结构体里面已经包含了指针,_用链队列作存储结构,实现队列(元素为整型)的基本运算。

python怎么编写口算题_来出口算题—— Python编程-程序员宅基地

文章浏览阅读2.3k次。原标题:来出口算题—— Python编程今天,小编带大家做一个实用的小程序,也就是计算题生成器。低年级的小朋友,最需要提高的就是计算能力,而计算能力的提升离不开有效的练习,而手动出题总会有局限性,并且很麻烦。家长们一开始都是自己一道一道的出题,后来买许多口算的书从书上拼凑,有时也从网上查找,有的题目需要反复验算其合理性,家长的工作量是孩子的好几倍,花1小时出好的题,孩子可能10分钟就做完了,家长再..._python口算题代码

沈师PTA--JAVA程序设计-第5章习题集--判断题答案版_可以使用throws语句来指明方法有异常抛出。-程序员宅基地

文章浏览阅读1.5k次,点赞2次,收藏7次。R1-1一个异常处理中 finally语句块可以不出现,也可以出现一次。(2分)TR1-2一个try语句可以有多个catch语句与之对应。(2分)TR1-3Java语言中的所有异常类都是java.lang.Throwable的子类。(2分)TR1-4可以使用throws语句来指明方法有异常抛出。(2分)TR1-5所有异常都必须捕获。(2分)FR1-6用户可以自定义自己的异常类。(2分)TR1-7若异常发生时,它没有捕获,后续的程序不受任何影响,依然能正常执行_可以使用throws语句来指明方法有异常抛出。

随便推点

网易2018校园招聘编程题真题集合(一)_小易准备去魔法王国采购魔法神器购买魔法神器需要使用魔法币但是小易现在一枚魔-程序员宅基地

文章浏览阅读255次。1、答案及运行结果:递归(逆推):直接或者间接地调用自身递归算法解决问题的特点:(1) 递归就是在过程或函数里调用自身。(2) 在使用递归策略时,必须有一个明确的递归结束条件,称为递归出口。(3) 递归算法解题通常显得很简洁,但递归算法解题的运行效率较低。所以一般不提倡用递归算法设计程序。(4) 在递归调用的过程当中系统为每一层的返回点、局部量等开辟了栈来存储。递归次数过多容易造成栈溢出等。所以一..._小易准备去魔法王国采购魔法神器购买魔法神器需要使用魔法币但是小易现在一枚魔

hashcode详解-程序员宅基地

文章浏览阅读2k次。HashCode是在Java中用于获取对象的唯一标识符的方法。它是根据对象的内容生成的一个整数值。对象的hashCode()方法被调用时,它返回的是对象的哈希码。哈希码可以用于在哈希表等数据结构中快速定位对象。在Java中,hashCode()方法是被Object类定义的,所有的对象都可以调用该方法。默认情况下,hashCode()方法返回的是对象的内存地址的哈希码表示。通常情况下,如果两个对象的equals()方法返回true,那么它们的hashCode()方法应该返回相同的值。_hashcode

java计算机毕业设计(附源码)英语单词学习软件app(ssm+mysql+maven+LW文档)-程序员宅基地

文章浏览阅读231次,点赞5次,收藏6次。其次,通过智能化的学习算法,软件能够根据用户的学习进度和记忆能力,提供定制化的学习计划和复习提醒,从而确保学习效果的最大化。此外,软件中的互动元素和游戏化设计,增加了学习的趣味性,激发了用户的学习动力。最后,随着用户词汇量的增加,他们将更加自信地运用英语进行沟通和表达,这不仅有助于个人职业发展,也促进了跨文化交流,增进了不同文化之间的理解和尊重。因此,英语单词学习软件APP的开发和应用,不仅是技术进步的体现,更是推动语言学习和文化交流的重要力量。随着科技的发展和移动设备的普及,学习英语的方式也在不断进化。

_004_jspAndServlet_Servlet3.0的异步_hasoriginalrequestandresponse-程序员宅基地

文章浏览阅读127次。来自https://www.cnblogs.com/zr520/p/6103410.html,感谢作者的无私分享。servlet之前的操作同时同步的,就是按照这样的一个流程来走的:1.请求根据一个路径路由到一个servlet中,2.servlet获取一系列的参数3.执行一系列的逻辑(花费时间所占的比重也更大)4.返回结果上面的问题出现在这一系列的操作都是同步的,所以这个请求必定是堵塞到所以任务都完..._hasoriginalrequestandresponse

异构计算 — CPU+GPU_异构计算 cpu gpu-程序员宅基地

文章浏览阅读5.9k次。目录文章目录目录CPU-GPU 异构计算系统分离式架构CPU-GPU 异构计算系统在现代的异构计算系统中,GPU 是以 PCIe 卡的形式作为 CPU 的辅助计算设备。根据 CPU 和 GPU 是否共享了内存,可分为两种类型的 CPU-GPU 异构计算架构:分离式架构:CPU 和 GPU 拥有各自独立的缓存和内存,两者之间通过 PCIe 总线通信。目前主要做计算机、智能手机中使用。耦合式架构:CPU 和 GPU 共享内存和缓存。AMD 的 APU 采用的就是这种结构,目前主要使用在游戏主机中。_异构计算 cpu gpu

小米10pro卡刷教程 卡刷升级官方系统方法_小米10如何刷澎湃系统-程序员宅基地

文章浏览阅读1.3w次。来源:智能手机网小米10pro卡刷升级官方系统图文步骤1、确保手机电量充足,己经下载好了官方卡刷包,还没有下载的请下载小米10pro官方完整卡刷包。2、将手机连接电脑,打开存储模式,将下载后的zip格式的压缩包不要解压,直接拷贝至内置存储 /downloaded_rom 文件夹下,或仅包含"英文或数字"路径的文件夹下。3、然后进入小米10pro手机中“设置-我的设备,如下图所示:..._小米10如何刷澎湃系统

推荐文章

热门文章

相关标签