数据规范中的归一化(Normalization)与标准化(Standardization)_拟合系数归一化-程序员宅基地

技术标签: 归一化  标准化  Machine Learning  数据规范  

A.归一化 vs. 标准化

归一化:要把你需要处理的数据经过处理后(通过某种算法)限制在你需要的一定范围内。首先归一化是为了后面数据处理的方便,其次是保正程序运行时收敛加快。一般指将数据限制在[0 1]之间。

(1)把数变为(0,1)之间的数,主要是为了数据处理方便提出来的,把数据映射到0-1之间处理,更便携快速;
(2)把有量纲表达式变为无量纲表达式,成为纯量;
(3) 一般采用最大-最小规范化对原始数据进行线性变换:X*=(X-Xmin)/(Xmax-Xmin)

标准化:对原始数据进行缩放处理,限制在一定的范围内。一般指正态化,即均值为0,方差为1。即使数据不符合正态分布,也可以采用这种方式方法,标准化后的数据有正有负。
由于信用指标体系的各个指标度量单位是不同的,为了能够将指标参与评价计算,需要对指标进行规范化处理,通过函数变换将其数值映射到某个数值区间。

(1)数据同趋化处理:解决不同性质数据问题,对不同性质指标直接加总不能正确反映不同作用力的综合结果,须先考虑改变逆指标数据性质,使所有指标对测评方案的作用力同趋化,再加总才能得出正确结果;
(2)无量纲化处理:要解决数据的可比性;
(3)一般采用Z-score规范化:即均值为0,方差为1的正态分布;

在matlab里面,用于归一化的方法共有三种:
(1)premnmx、postmnmx、tramnmx。premnmx指的是归一到[-1 1],tramnmx是变化测试集输入结果,postmnmx是转化测试集输出结果。
(2)prestd、poststd、trastd。 prestd 归一到单位方差和零均值。
(3)自己编程。 关于自己编程一般是归一到[0.1 0.9]

B. 为什么要用归一化呢?

奇异样本数据指的是相对于其他输入样本特别大或特别小的样本矢量。奇异样本数据存在所引起的网络训练时间增加,并可能引起网络无法收敛,所以对于训练样本存在奇异样本数据的数据集在训练之前,最好先进形归一化,若不存在奇异样本数据,则不需要事先归一化。

C. 归一还可以用 mapminmax

这个函数可以把矩阵的每一行归一到[a b].默认为[-1 1].
[y1,PS] = mapminmax(x1,a,b). 其中x1是需要归一的矩阵,y1是结果
当需要对另外一组数据归一时,比如SVM中的training data用以上方法归一,而test data就可以用下面的方法做相同的归一:y2 = mapminmax(‘apply’,x2,PS)
当需要把归一的数据还原时,可以用以下命令: x1_again = mapminmax(‘reverse’,y1,PS)

D.Matlab命令说明

  1. mean:计算向量均值。mean(x,1)列向量均值,mean(x,2)行向量均值。 mean2(x)矩阵均值.
  2. std:计算向量均方差,std(x,0,1)列向量均方差,std(x,0,2)行向量均方差。 std2(x)矩阵均方差
  3. var:计算向量方差,var(x)
  4. sse:误差平方和,sse(x)。越接近于0,说明拟合的越好,数据预测越成功。
  5. mse:均方差平方和,mse(x)=sse(x)/N。意义同sse
  6. R-square:确定系数。确定系数是通过数据的变化来表征一个拟合的好坏。由上面的表达式可以知道“确定系数”的正常取值范围为[0 1],越接近1,表明方程的变量对y的解释能力越强,这个模型对数据拟合的也较好。
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/Neil_Pan/article/details/56830357

智能推荐

数字信号处理翻转课堂笔记13——用双线性变换法将模拟滤波器转换为数字滤波器_双线性变换法设计带通滤波器-程序员宅基地

文章浏览阅读2.7k次,点赞2次,收藏15次。用双线性变换法将模拟滤波器转换成数字滤波器_双线性变换法设计带通滤波器

Android Keystore加解密以及遇到的坑_android keystore安全性-程序员宅基地

文章浏览阅读1.8k次。国内使用Android Keystore加解密的应该很少吧,搜出来也基本都是Android打包时的Keystore,其实谷歌在很早之前就已经为Android提供了类似IOS的KeyChain功能,私钥存储在trustzone系统中,这个trustzone系统独立于Android系统,能做到私钥安全。具体怎么安全,我们来了解一下加解密与签名的过程,本文不做复杂的深度解析,普通人也完全不需要了解这么透彻,想深入了解的可以google trustzon。keystore加解密与签名的安全性其实很好理解,因为不_android keystore安全性

【Packet Tracer】交换机的端口配置与管理 【三】_思科交换机端口长期用不用能否查看-程序员宅基地

文章浏览阅读5.8k次,点赞2次,收藏18次。实验目标l掌握交换机基本信息的配置管理。实验背景l某公司新进一批交换机,在投入网络以后要进行初始配置与管理,你作为网络管理员,对交换机进行端口的配置与管理。技术原理l交换机的管理方式基本分为两种:带内管理和带外管理。l通过交换机的Console端口管理交换机属于带外管理;这种管理方式不占用交换机的网络端口,第一次配置交换机必须利用Console端口进行配置。l..._思科交换机端口长期用不用能否查看

vue element-ui中组件v-infinite-scroll,无限触发loadMore事件解决_infinitescroll loadmore 滚动分页连续请求的问题-程序员宅基地

文章浏览阅读5.7k次。使用element-ui组件v-infinite-scroll出现了无限触发滚动事件,关键问题代码如下:<template> <div ref="ullist" :style="autoHeight" class="infinite-list-wrapper" style="overflow:auto"> <ul v-infinite-scroll="loadMore" infinite-scroll-disabled="busy"> <li v-._infinitescroll loadmore 滚动分页连续请求的问题

mysql修改成utf8mb4依然无法插入emoji表情问题_utf8mb4格式 org.springframework.jdbc.uncategorizedsq-程序员宅基地

文章浏览阅读6k次。最近做项目需要用到emoji表情,好不容易把前端搞定,提交数据到后台发现无法插入数据库,异常提示如下:org.springframework.jdbc.UncategorizedSQLException: ### Error updating database. Cause: java.sql.SQLException: Incorrect string value: '\xF0\x9F\x..._utf8mb4格式 org.springframework.jdbc.uncategorizedsqlexception:

OCiOS开发:音频播放器 AVAudioPlayer-程序员宅基地

文章浏览阅读6.1k次。简介AVAudioPlayer音频播放器可以提供简单的音频播放功能,其头文件包含在AVFoudation.framework中。AVAudioPlayer未提供可视化界面,需要通过其提供的播放控制接口自行实现。AVAudioPlayer仅能播放本地音频文件,并支持以下格式文件:.mp3、.m4a、.wav、.caf、.aif
。常用方法初始化方法// 1、NSURL 它只能从file:/

随便推点

UE4协同开发——项目迭代_ue的迭代管理-程序员宅基地

文章浏览阅读1k次。在开发虚幻引擎4项目时,应该确保只将最终资源导入UE4 当你重新导入资源时,你要确保覆盖原有资源 尽量避免导入多个相同网格体,比如“MyMesh1” 和 “MyMesh2”,原因在于这会导致文件冗余和混淆 如果你没有源代码管理软件(应该不可能),试着做到以下几点 制定一个计划并坚持下去: 计划谁会做什么并坚持计划 划分项目的管辖范围,确保各个范围的负责人: 都将资源更新到最新状态,并在实际适合时添加新内容 使用Dropbox或Google Drive等网盘: 让虚幻引_ue的迭代管理

uva 493-程序员宅基地

文章浏览阅读348次。//// main.cpp// ceshi//// Created by 戴之阳 on 2016/11/6.// Copyright 2016年 sky.dai. All rights reserved.////// main.cpp// ceshi//// Created by _uva 493

Shiro的Demo示例-程序员宅基地

文章浏览阅读54次。为什么80%的码农都做不了架构师?>>> ..._shiro官网的demo

基于MSP430 红外避障-遥控小车(电赛必备 附项目代码)_msp430红外循迹小车-程序员宅基地

文章浏览阅读6.7k次,点赞42次,收藏135次。项目简介:小车可分为3种工作模式,每种工作模式都会打印在OLED显示屏上,通过按键转换工作模式。模式1:小车红外循迹,通过超声波实时监测障碍物距离,若超出规定路线,距离障碍物相对较近时,原地停止,等待指令。模式2: 自主驾驶,通过超声扫描各障碍物距离,当小于一定距离时原地左转。模式3:蓝牙远程遥控本项目用到的模块有:1. MSP430F5529开发板2. 红外循迹模块 TCRT5000L3. 超声波 HC-SR044. 蓝牙 ATK_HC-055. 显示屏 四针OLED6. 充电电池 _msp430红外循迹小车

人工智能:模拟退火初始温度值的计算_模拟退火算法初始温度如何定-程序员宅基地

文章浏览阅读1.2w次,点赞5次,收藏17次。1.模拟退火法简介模拟退火法是一种状态空间的局部搜索算法,它属于比较通用的寻找最优解的算法。模拟退火算法从某一较高初温出发,伴随温度参数的不断下降,结合概率突跳特性在解空间中随机寻找目标函数的全局最优解,即在局部最优解能概率性地跳出并最终趋于全局最优。2.模拟退火法算法描述function Simulated-Annealing(problem, schedule) returns a soluti_模拟退火算法初始温度如何定

Random rand = new Random(47);的简单解释-程序员宅基地

文章浏览阅读7.7k次。Random rand = new Random(47);是java中的一个随机数的生成方法,其中47是作为一个种子,也就是一个实参,你可以写成20,30等等。如果是Random rand = new Random();这样,那么种子也就是实参为系统的时间。这里声明了一个对象rand,后面就用rand来构造随机数的范围和类型了。_new random(47)

推荐文章

热门文章

相关标签