机器学习笔记——决策树之回归树_Nuyoahgyc的博客-程序员秘密

（参考资料：菜菜的sklearn）

重要参数，属性及接口

criterion
1)输入"mse"使用均方误差mean squared error(MSE)，父节点和叶子节点之间的均方误差的差额将被用来作为特征选择的标准，这种方法通过使用叶子节点的均值来最小化L2损失。
2）输入“friedman_mse”使用费尔德曼均方误差，这种指标使用弗里德曼针对潜在分枝中的问题改进后的均方误差
3）输入"mae"使用绝对平均误差MAE（mean absolute error），这种指标使用叶节点的中值来最小化L1损失
属性中最重要的依然是feature_importances_，接口依然是apply, ﬁt, predict, score最核心

在这里插入图片描述
在回归树中，MSE不只是我们的分枝质量衡量指标，也是我们最常用的衡量回归树回归质量的指标，我们追求的是MSE越小越好

注意！！回归树的接口score返回的是R平方，并不是MSE。R平方的定义如下：
在这里插入图片描述
其中u是残差平方和，v是总平方和。
**虽然均方误差永远为正，但是sklearn当中使用均方误差作为评判标准时，却是计算”负均方误差”（neg_mean_squared_error）。**这是因为sklearn在计算模型评估指标的时候，会考虑指标本身的性质，均方误差本身是一种误差，所以被sklearn划分为模型的一种损失(loss)，因此在sklearn当中，都以负数表示。真正的均方误差MSE的数值，其实就是neg_mean_squared_error去掉负号的数字。

实例：一维回归图像的绘制

用回归树来拟合正弦曲线，并添加一些噪声来观察回归树的表现。
1.导入需要的库

import numpy as np
from sklearn.tree import DecisionTreeRegressor
import matplotlib.pyplot as plt

2.创建一条含有噪声的正弦曲线

#创建一条含噪声的正弦曲线
rng=np.random.RandomState(1)   #生成随机数种子
5*rng.rand(80,1)   #rand()生成0~1之间的随机数
X = np.sort(5 * rng.rand(80,1), axis=0)   #生成的横坐标的数据
y=np.sin(X).ravel()
y[::5]+=3*(0.5-rng.rand(16))    #[::5],5是步长，每5个数取出来一个加上一个随机数，以此制造噪声
plt.figure()
plt.scatter(X,y,s=20,edgecolor="black",c="darkorange",label="data")  #画散点图

在这里插入图片描述
3.实例化训练模型

#实例化训练模型
regr_1 = DecisionTreeRegressor(max_depth=2)
regr_2 = DecisionTreeRegressor(max_depth=5)
regr_1.fit(X, y)
regr_2.fit(X, y)

测试集导入模型，预测结果

X_test=np.arange(0.0,5.0,0.01)[:,np.newaxis]   #arange(起始点，结束点，步长)，[:np.newaxis]用于升维
y_1=regr_1.predict(X_test)    #生成预测值
y_2=regr_2.predict(X_test)

5.绘制图像

plt.figure()
plt.scatter(X,y,s=20,edgecolor="black",c="darkorange", label="data")  #画散点图
plt.plot(X_test, y_1, color="cornflowerblue",label="max_depth=2", linewidth=2)  #画折线图
plt.plot(X_test, y_2, color="yellowgreen", label="max_depth=5", linewidth=2)
plt.xlabel("data")
plt.ylabel("target")
plt.title("Decision Tree Regression")
plt.legend()
plt.show()

在这里插入图片描述

本文链接：https://blog.csdn.net/m0_46175303/article/details/108802341

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

python作业_python小作业_weixin_39677538的博客-程序员秘密

1.简述变量命名规范变量由数字，字母，下划线组成不能以数字开头不能使用python中关键字不能使用中文和拼音区分大小写变量名要具有描述性推荐写法7.1驼峰体AgeOfOldboy = 987.2下划线age_of_oldboy = 98 (官方推荐)2.name = input(“>>>”) name变量是什么数据类型通过代码检测字符串3.if条件语句的基本结构？单ifif else 二选一i...

微信小程序开发(四) - 全局外边框配置 - json 文件_lendq的博客-程序员秘密

注 :注释只能在wxml , js 文件中使用(&lt;!-- --&gt; , // ) 其余`json , wxss`文件都不能使用注释JSON 文件的作用app.json 本质上只会更改外边框(除了网络超时)pages.json除了以上作用以外,还可以用来添加自定义wxml组件,后面会补充项目配置文件 project.config.json该...

Qt图形特效：QGraphicsDropShadowEffect_qgraphicsitem 发光效果_友善啊，朋友的博客-程序员秘密

一、描述QGraphicsDropShadowEffect类提供投影效果。投影效果使用放置投影渲染源。二、成员属性1、blurRadius : qreal。此属性保存投影的模糊半径(像素)。使用较小的半径产生更清晰的阴影，而使用较大的半径产生更模糊的阴影。默认情况下，模糊半径为1像素。2、color : QColor。此属性保存投影的颜色。默认情况为半透明的深灰色(QColor(63, 63, 63,180))。3、offset : QPointF。此属性以像素为单位保存阴影偏移量。默认情况

v-model绑定数组练习_小可同学啊的博客-程序员秘密

用v-model绑定一个数组在多选上时会按照多选的选中状态在数组中添加或删除该选项的value值`<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <meta http-equiv="X-UA-Compatible" content="IE=edge"> <meta name="viewport" content="width=devi.

rem项目踩到的坑_不同项目rem不一致_由本的博客-程序员秘密

接到一个项目需要你去迭代修改，如果是rem布局，切记先点开浏览器dom树的html标签，看一下上面的font-size是多少，如果浏览器手机模拟器是375的宽dom树上html的font-size应该是25px，那相对ui给的750的图则正好是1rem = 50px，但如果浏览器手机模拟器375宽的dom树你点开html的font-size是20px的话，那他的项目中设置的1rem对应的就是40px—记得手动设置一下vscode里的rem自动转换—大部分项目都是配置1rem = 50px，但也

我的Java开发学习之旅------>Java经典排序算法之快速排序_source >> pos - 1 & 1_字节卷动的博客-程序员秘密

一、算法思想　快速排序是C.R.A.Hoare于1962年提出的一种划分交换排序。它采用了一种分治的策略，通常称其为分治法(Divide-and-ConquerMethod)。（1）分治法的基本思想　分治法的基本思想是：将原问题分解为若干个规模更小但结构与原问题相似的子问题。递归地解这些子问题，然后将这些子问题的解组合为原问题的解。（2）快速排序的