损失函数、正则化、交叉验证_交叉验证损失-程序员宅基地

技术标签: 机器学习  ML  

期望风险或期望损失:是真实的,需要x,y的联合概率分布相乘
经验风险或经验损失:机器学习问题不可能已知x,y的联合概率分布,如果已知的话,那么x得出y就很容易了。那么根据大数定理可以使用1/n*损失函数来代替期望风险,得出经验风险。

结构风险最小化:是带正则项的经验风险最小化。
经验风险最小化容易带来模型复杂度过高,过拟合问题

正则化:
是结构风险最小化策略的实现。正则化项一般是模型复杂度的单调递增函数,模型越复杂,正则化值就越大

范数:
0范数表示的是向量中非0元素的个数
1范数表示的是向量中元素的绝对值的和
2范数表示的是向量中元素的模的和

模型的稀疏化得优点:是可以实现自动特征选择和优秀的特征可解释性。

想要模型稀疏,最好的方法是使用正则化0范数。但是0范数是不好求w的最优化解得。并且l1是l0的最优凸近似。如果w在0点处不可微(l1就不可微),且可以分解为一个求和的形式,那么这个规则化算子就可以实现稀疏.
l2范数会使模型的参数很小,但是不能为0。l2相比L1具有更平滑的特性。当遇到两个对预测有帮助的特征时,L1倾向于选择一个更大的特征。而L2更倾向把两者结合起来。

交叉验证:
1、简单验证,70%训练集,30%测试集。使用此方法不断的选择模型和参数,比较测试集的准确率。
2、kfold,将数据集切分成k份,随机选择k-1做训练集,1做测试集。最后选出S次评测中平均测试误差最小的模型。

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/sinat_27612639/article/details/51898685

智能推荐

c# 中DataSet示例_c# dataset实例-程序员宅基地

文章浏览阅读787次。1.获取信息 #region 产生学生列表 /// /// 产生学生列表 /// private void GenStudentList(string strStu) {_c# dataset实例

我所经历的大数据平台发展史1:非互联网时代-上篇-程序员宅基地

文章浏览阅读930次。origin: http://www.linuxeden.com/html/news/20160222/164888.html编者按:本文是松子(李博源)的大数据平台发展史系列文章的第一篇(共四篇),本系列以独特的视角,比较了非互联网和互联网两个时代以及传统与非传统两个行业。是对数据平台发展的一个回忆,对非互联网、互联网,从数据平台的用户角度、数据架构演进、模型等进行了阐述。前言,_我所经历的大数据平台发展史

css3卡片前后无限循环翻转效果_卡片翻动效果-程序员宅基地

文章浏览阅读370次,点赞2次,收藏3次。【代码】css3卡片前后无限循环翻转效果。_卡片翻动效果

Linux pstree命令教程:进程树的展示和管理(附实例详解和注意事项)_linux 安装pstree-程序员宅基地

文章浏览阅读1.1k次,点赞10次,收藏11次。pstree是一个Linux命令,它以树状图的形式显示运行中的进程。这种树状图的格式比ps命令更直观,使输出更具视觉吸引力。_linux 安装pstree

linux poweroff无法关机,linux关机重启六种方法(sysrq shutdown halt init ipmi poweroff)-程序员宅基地

文章浏览阅读2.7k次。linux关机重启六种方法(sysrq shutdown halt init ipmi poweroff)我的博客已迁移到xdoujiang.com请去那边和我交流linux关机重启六种方法(sysrqshutdownhaltinit)当前版本cat/etc/debian_version5.0.1一、linux关机命令(前四种)1、shutdown-hnow(-h:haltafter..._linux poweroff关机失败,poweroff -f关机成功

Mac电脑使用:终端的管理员用户和普通用户的自由切换方式_mac 终端切换交互方式-程序员宅基地

文章浏览阅读7.8k次,点赞6次,收藏11次。作为一名IT民工来说,对于电脑的各种操作都需要熟练掌握,不仅要学会Windows电脑的操作,更要学会Mac电脑的操作,不同的操作系统,有些操作是不一样的,就拿终端命令行来说,Windows系统的cmd和Mac系统自带的终端就不一样。 由于觉得Windows系统的cmd命令工具用着不习惯,所以本篇博文只来分享一下Mac电脑系统下自带的终端的关于管理员用户的切换方法,这个知识点虽然比较..._mac 终端切换交互方式

随便推点

408机是考c语言吗,计算机考研408操作系统考试内容-程序员宅基地

文章浏览阅读1.1k次。1.进程概念2.进程的状态与转换3.进程控制4.进程组织5.进程通信共享存储系统;消息传递系统;管道通信。6.线程概念与多线程模型(二)处理机调度1.调度的基本概念2.调度时机、切换与过程3.调度的基本准则4.调度方式5.典型调度算法先来先服务调度算法;短作业(短进程、短线程)优先调度算法;时间片轮转调度算法;优先级调度算法;高响应比优先调度算法;多级反馈队列调度算法。(三)同步与互斥1.进程同步..._408要学c++吗

linux驱动无线网卡数据发送,基于Linux的无线网卡驱动程序-程序员宅基地

文章浏览阅读178次。基于Linux的无线网卡驱动程序第6卷 第2期         信息工程大学学报          Vol.6No.2 2005年6月     JournalofInformationEngineeringUniversity        Jun.2005基于Linux的无线网卡驱动程序王玉东,冯 茜,张效义(信息工程大学信息工程学院,河南郑州450002)摘要:文章分析了Linux下无线网卡驱..._linux wifi驱动怎么实现数据传输

计算机主机与外部接口,核心与外部设备间接口-程序员宅基地

文章浏览阅读1.6k次。在对计算机核心部分的工作原理有了相当的认识之后,我们在应该知道一台计算机仅仅有中央处理器和内存是不够的,它当然能够运转起来,但并没有什么大用。如果按照老式的方法,你得用开关把程序指令一条一条地写入存储器,而早期确实是这么干的。如果让计算机很好地为我们所用那就不得不说说输入和输出设备了。专业地说,输入输出设备又称为I/O设备,这是因为“输入”和“输出”分别对应于英语单词“Input”和“Output..._cpu 的外部接口是连接外部设备的关键资源,常见的的外部协议接口有哪些

UnityShader17:光照属性与阴影_lighting_coords-程序员宅基地

文章浏览阅读1.5k次,点赞4次,收藏10次。前置:UnityShader16:点光源和聚光灯一、一些重要的光照、阴影属性一个一个来(绿色的部分暂时可以不用了解):Type:光照类型,除了常用的3个,还有一个面光源 Color:光照颜色 Mode:光照模式:实时光照/混合/烘培光照 Intensity:光照强度 Indirect Multiplier:在计算该灯光所产生的间接光照时的强度倍乘 Shadow Type:阴影类型:无阴影/硬阴影/软阴影 Cookie:用于光照投影的纹理 Cookie Size:Cooki..._lighting_coords

CSS3 平面 2D 变换+CSS3 过渡-程序员宅基地

文章浏览阅读2.1k次,点赞104次,收藏87次。HTML5和CSS3-19(20)-1(3)

归一化 (Normalization)、标准化 (Standardization)和中心化/零均值化 (Zero-centered),BN,Batch,批归一化,从归一化到批归一化_组均值和总均值中心化-程序员宅基地

文章浏览阅读1.4w次,点赞20次,收藏91次。目录1.引言:一些基本概念,2.为什么要进行归一化?归一化两个的优点3.为什么要标准化?标准化的好处?4.归一化和标准化的区别5.什么时候用归一化?什么时候用标准化?6. 哪些模型必须归一化/标准化?7、逻辑回归必须要进行标准化吗?8. 为什么需要批归一化(BN)?9. BN的好处10、BN的原理11、BN到底解决了什么Reference:..._组均值和总均值中心化